更全的杂志信息网

一种新的立体显示中的视差估计与虚拟视点绘制算法

更新时间:2009-03-28

0 引言

在近年来的显示技术领域中,3D视频显示技术已经引起了人们高度的重视,它在多媒体中有着广泛的应用,比如3D游戏、电影、视频会议、3DTV和医疗图像等.随着人们对3D视频显示技术需求的不断增加,MPEG(动态图像专家组)对于3D虚拟视频技术(3DAV)的标准化有着重大的贡献[1].3D视频显示的信息是由存储左右视图像素对的视差值的视差图来表征的.在视差图的基础上,对应不同相机位置处的虚拟视点都可以被合成,因此,视差估计和虚拟视点绘制是3D视频显示中最关键的两个部分.

虚拟视点合成就是从已知的左右视图来得到虚拟的视图,这个过程中最主要的是通过相关的立体匹配过程找到对应的像素对.在机器视觉中一个经典的问题——立体匹配法,它仍然活跃在近些年的相关领域中.考虑到视图对来源于同一个场景的事实,立体匹配的关键是找到两图之间的视差值.目前提出的大量算法可以被分为两大类,具体可参见文献[2].

视差估计中,立体匹配是核心过程.受到Singh等[3]提出的立体匹配方法的启示,本文在立体匹配过程中采用对灰度图像和彩色图像都使用的Mean shift分割[4]和权重多窗口[5]相结合的立体匹配法,通过在同一场景中左右两幅视图获得的深度信息和原始图信息进行视图插值获得虚拟视图,可以完成已知左右视图之间任意位置的图像绘制.本文提出的方法具有良好的图像效果,轮廓清晰分明,可以实现已知双视图之间任意位置视图绘制,具有良好的立体效果.

4.2 固定资产管理 固定资产管理是整个系统的核心部分,在该部分可以看到每台设备的详细状况,包括固定资产卡片、安装培训、验收、合同、招标、购置申请等整个生命周期的信息,具体运行效果见图5。

1 立体摄像机系统原理

本论文算法是在假设两个摄像机平行放置前提下实现的.立体摄像机系统几何原理如图1所示.本文用到两个已知的摄像机CLCR,两相机的坐标相互平行,它们的图像平面是共面的.B表示基线距离,F表示相机的焦距.在此模型中,3D视图中某一点P在两幅已知图像中都可见,但该点在坐标上有所不同,它们在坐标中的差异就被称为视差值.视差估计应该满足极限约束,因为两相机的平行设置,那么垂直向量之间没有差距,目的是为了沿着极线方向只有一维变量在变化,这个设置对于本文十分关键.

  

图1 立体摄像机系统Fig.1 Stereo camera system

假设场景中一点P在左视图和右视图平面内对应点分别是PLPR,如果把左视图视为参考图,那么从左到右的视差值可以表示为

(1)

xIc(x)-xIc(y)|2+

若假设在左右摄像机之间有某个虚拟摄像机CI并且与左摄像机的距离为x,那么从左视图到中间任一点虚拟视图的视差值可以表示为

 

(2)

其中,

由式(1)和式(2)可得出如下关系式:

XI=(1-α)XL+αXR=XL+αdLR

(3)

因此,如果已知中间虚拟摄像机的坐标位置,能够确定原始图像像素点和它们的视差值,那么点P在虚拟视图中的坐标位置即可由式(3)确定.

2 视差估计

本算法的设计流程如图2所示.

  

图2 算法设计流程Fig.2 Algorithm flow chart

虚拟视点合成就是从已知的左右视图来得到虚拟的视图.已知左视图和右视图,一种方法是直接进行视差图的虚拟视点绘制.本文的方法是先对左右视图进行区域分割,在图像基础上利用基于像素间的颜色相似性的权值多窗口匹配法,在匹配过程中引入匹配代价函数并利用Winner-Take-All思想优化视差值,从而获得较精确的立体图像对的初始视差图,再对初始视图存在的误匹配点进行剔除,利用Mean shift分割的图像对视差图进行平滑操作,最后对前面获得的稠密视差图进行正向视图插值,并对正向映射插值出现的空洞现象进行填补,以及对于视差估计过程中出现的噪声进行滤除,最终完成已知左右视图之间任意位置的图像绘制.

2.1 Mean shift图像分割

yIc(x)-yIc(y)|2,

“双标准”。现代学徒制具有“双标准”考核评价体系,即“学业标准” 和“学徒标准”。参照学徒所在岗位的职业标准,将工作岗位上学习和任务完成情况纳入考核内容,制定专门的学徒管理法和考核标准。

假设xizi(i=1,2,3,…,n)分别表示d维原始图像点和收敛点,Li为图像分割后的第i个区域标号,那么Mean shift图像分割流程如下:

1)将图像转换为合适的色度空间.灰度图可直接操作,彩色图需转换为L×U×V色度空间进行操作.

2)对Mean shift进行平滑操作:

① 令j=1,yi,1=xi;

② 计算当前像素中心点yi,j+1;

使用TOF-Watch SX加速度肌松监测仪进行肌松程度监测,通过刺激尺神经,检测患者的拇内收肌加速度,采取四个成串刺激(TOF)(频率2 Hz,波幅200 us,电流强度50 mA,间隔15 s)的方式记录患者的肌松情况。

③ 计算Mean shift向量mh,G(yi,j)=yi,j+1-yi,j;

浙江省发改委相关负责人表示,21家特色小镇被约谈,是因为它们推进不力、建设滞后,考核的结果只代表昨天的工作,暴露的问题更是今后努力的方向,约谈旨在使其提高认识、找准短板、迎头赶上。数据显示,随着浙江特色小镇创建名单的不断扩容,优胜劣汰的力度也不断加大,过去三年,浙江已累计警告33个创建小镇和培育小镇,降格13个创建小镇,淘汰7个培育小镇。

④ 重复上述的操作直到找到收敛点

3)将各像素的收敛点zi按照一定的规则进行合并,具体条件是空间域小于hs,颜色域小于hr.

牛油鸡蛋煮麻线:在纺好的线上加牛油和鸡蛋,搅匀后放大锅里煮,主要目的是加以牢固线和润滑线,一般煮一个小时为最佳。

4)完成所需图像的分割算法.

2.2 基于多窗口权值的立体匹配法

本文采用局部匹配算法[7],该算法假设匹配窗口内所有像素在一个相近深度平面,这些像素点具有相似的视差值.该方法的基本思想是在深度不连续区域和同一区域内能得到精确的匹配结果,要为每个像素自适应地选取合适的匹配窗口进行立体匹配.一般初始视差图是采用基于窗口匹配法获得的.本文借鉴文献[8]提出的基于窗口权值函数匹配法,它在深度值不连续处具有良好的预留信息的优点,但在图像区域有过平滑现象出现,因此本文在此基础上采用多窗口匹配的方法,消除此缺点.

本文介绍的自适应匹配法中相似性测度函数采用的是绝对差之和SAD(Sum of Absolute Difference)和图像梯度信息GRAD结合的匹配代价函数C(x,y):

如图6所示,各通道一级放大电路分别单独占用一个地平面,从而避免各通道一级放大电路之间通过地线耦合干扰。各一级放大电路地平面并联接至二次地模拟开关处,模拟开关与二级放大电路、A/D转换电路通过地线通过串联接至电源模块处。

(4)

其中,Z表示点P的深度.

5.1.3 Sustainable mixed agriculture production system in Peacock River valley.

Comaniciu等[6]提出的Mean shift图像分割算法具有计算量小和图像边缘信息保留良好的优点.本文鉴于该方法的优点,将其融合应用到视差估计算法中.Mean shift 算法可以简述为:将已知参考视图按照颜色的相似性分成若干区域并将不同颜色区域标号,但需要假设视差值较大的像素点视为颜色不连续的边界.

(5)

C(x,y)=(1-wCGRAD(x,y)+

w×CSAD(x,y),

(6)

3)图形分割加权累计误差能量函数

设计RGB图像的代价函数:

1) 颜色相似性权值公式

2)参考视图和目标是图中多窗口权值计算公式

(7)

其中,Δcpq为两像素点的颜色差异,Δcpq=|Rp-Rq|+|Gp-Gq|+,γc为评价颜色相似性参数,此处取3.

1)该形式的外置式电流互感器在户外使用时,由于其结构形式极易造成外部水分进入互感器腔体内部,从而导致互感器线圈受潮,安装时应加强其密封,避免雨水进入;

(8)

其中,Sp是点p的移动区域.

其中Ic(x)表示当前像素点彩色值,x表示当前点坐标,Ic(y)表示当前点周围领域彩色值,y表示领域坐标,xy分别代表图像横向和纵向梯度,w是介于0和1之间的权值.

精神分析学家弗洛伊德提出“人格三重论”,分别为“本我”、“自我”和“超我”。人的生存状态,是三者的相互斗争而达到的平衡,一旦这种平衡被打破,人的自然状态也随之改变。“本我”在人格三重理论中处于最底层,是最原始并且属于本能冲动的欲望,各种生理需要也包括在内。“本我”遵循内心深处的需求和欲望行事,把一切社会准则及社会约束抛之脑后。性欲与破坏欲是构成本我的两大因素,笔者将从这两方面分析玛丽支离破碎的本我。

(9)

其中,分别是目标图像中pq在视差为d时的对应点,表示支持窗内的其余任意像素,表示q的绝对灰度差.

本文算法采用WTA(Winner-Takes-All)和误差能量函数相结合的方法,在视差值范围[dmin,dmax]内,计算代价函数值为最小时的视差值作为该像素的视差值,以此得到初始视差图.

2.3 交叉检验

在初始视差图的基础上,本文采用双向交叉检验法滤除不可靠的视差值,以确保视差值的连续性.文献[9]中提出两幅视图间的像素对pq存在弱连续性限制,这种限制也适用于闭塞区域.通过计算左视图视差值与右视图视差值,检测出闭塞区域.如果违背弱连续限制,即:

本文提出了一种新的基于Mean shift图像区域分割和多窗口权值的立体匹配算法.有效的虚拟视点绘制是基于良好的视差图与好的视图插值法实现的.本文通过权值多窗口立体匹配法获得初始视差图,再利用交叉检验法对不可信匹配点和闭塞遮挡区域进行滤除,很好地解决了视差图中遮挡区域引起的误匹配问题.仿真结果表明本文提出的算法具有良好的绘制效果,绘制速度较快,而且对于灰度图和彩色图都适用.本文未讨论视点垂直方向的变化对虚拟视图的影响,对于更具有挑战性的自由立体显示技术[9-10]有待进一步的研究.

(10)

则将此视为闭塞区域,用dR->L(x-dL->R(x,y),y)代替dL->R(x,y).本文在此基础上加入能量误差函数的限制条件,使得视差值更加精确,能更好判断出闭塞区域并加以处理.如果eR->L(x,y)≤eL->R(x,y),则为正确视差值,否则将拒绝该视差值,dR->L(x,y)=∞.

答:他们被强行驱出酒店,曾先生年近七旬有病在身的父亲倒在地上半昏迷,他的母亲瘫坐在地上求助。他们一家人怀着对瑞典的兴趣来旅游,刚到斯德哥尔摩就陷入这样的无助和绝望中,你能指望他做出什么样的反应呢?昨天《晚报》记者也给我看了那段视频。但曾先生父亲躺在地上半昏迷的视频你们为什么不关注呢?!你们为什么不播放呢?

3 虚拟视点绘制

3.1 视图插值

在立体匹配法获得的稠密视差图基础上,本文采用线性视图插值法将左右视图像素对的颜色信息插值到虚拟视点位置完成虚拟视点绘制.

XI表示虚拟位置视图,β表示虚拟视图位置的参数表示像素对{p(xL,y),q(xR,y)}在虚拟视图XI中对应的像素点,那么虚拟视图中像素点位置可表示为

xI=(1-βxL+β×xR,

(11)

p(xI,yI)的像素值为

Vs=(1-βVp+β×Vq,

(12)

其中VpVq分别表示原始图像素对的像素值.

3.2 滤除噪声

采用正向视图插值会出现空洞现象,主要是对象之间的遮挡和区域拉伸原因引起的视图中一些边界和隐藏点无法重现,这些点在视差图中视差值为0.本文采用方法是确定空洞点的位置,利用左视图在虚拟位置的虚拟视图对空洞点位置进行颜色信息填充.

IIL(XI,Y)=IIL(XL+(1-αdIL,Y)=IL(XL,Y),

II(XI,Y)=IIL(XI,Y)+IIR(XI,Y).

(13)

其中,XL+(1-αdIL表示虚拟视点位置与左视图位置关系,IIL(XIY)表示由左视图变换到中间虚拟视点像素坐标为(XIY)处的像素值,dRL表示左右视图的视差值,IL(XLY)表示左视图像素坐标为(XLY)处的像素值,II(XIY)表示最终虚拟视图在像素坐标为(XIY)处的像素值,IIR(XIY)表示由右视图变换到中间虚拟视点像素坐标为(XIY)处的像素值.

生成的虚拟视图必然会存在噪声,主要表现为灰度值很大、像素不连续等.为滤除噪声,本文采用相邻像素的颜色信息对存在噪声的像素点进行替代处理.

肺癌是临床常见的恶性肿瘤,发病原因与电离辐射、职业接触、环境、遗传、大气污染以及吸烟等因素密切相关,有研究发现,既往肺部慢性感染病史的患者肺癌发病率高于正常人群[1]。一期肺癌属于早期肺癌,可出现咳嗽、胸痛、痰中带血等症状,临床主要应用手术治疗,肺癌伴发糖尿病使病情更加复杂,增加手术难度,加上患者对疾病相关知识了解较少,对手术存在一定恐惧心理,会出现一系列应激反应,因此给予治疗的同时要加强对患者的护理,提升护理服务质量,调节其心理状态,保证手术效果,改善患者健康状况[2]。文章探讨2014年12月—2016年12月一期肺癌伴发糖尿病患者150例应用延续护理对其心理状态的影响,现报道如下。

4 仿真结果与分析

本文所有仿真都是在Matlab 2012b软件环境下完成的,实验中的素材和标准视差图来源于Middlebury dataset提供的测试图像.图3是采用Mean shift算法的区域分割图像,可以发现对于不同的参数取值的分割效果明显不同.

2018年初,在南京市职工技术协会五届六次理事大会上,扬子石化陈国平瞄准绿色清洁生产,《扬子石化2号重整生成油绿色脱烯烃操作法》被评为2017年南京市职工十大先进操作法之一。这个操作法从绿色化工操作的角度出发,实现设备投资少、工艺简单、操作费用低,重整装置无白土塔和连续稳定运行,可在芳烃生产装置中广泛使用,曾荣获中国石化2016年度科技进步二等奖。

  

图3 不同参数的Mean shift分割算法Fig.3 Mean shift segmentation results with different parameters

由图3可以看出:图像分割效果受到3个参数影响,其中hs是控制区域的大小,区域越大进入空间区域的点越多,分割效果并不与该值呈现正比关系,此值一般不易过大;hrM对分割效果有一定的影响,M值越小景物细节保留得越清晰,hr值越小,色彩的细节保留越好.在分割后互不相干的几个区域,区域的划分已经消除了距离上的差异特征,匹配算法中的代价函数只需考虑相关窗口内像素的颜色相似性.该方法在绘制速度上有待进一步提高.

图4是左右参考视图与中间虚拟视图进行噪声滤除前后的效果.由图4可清晰地看出,不经过相关处理的虚拟绘制视图中一些区域有明显的像素断裂和空洞,尤其是在物体的边缘附近,而经过处理的绘制方法能有效地解决这些问题,景物色彩光滑连续,绘制效果更理想.图5给出了测试图像“Tsukuba”的原左右视图和不同位置处的虚拟合成视图.在高精度稠密视差图的基础上,绘制出了高质量的虚拟视图,表明本文中提出的立体匹配算法的精确度很高.

  

图4 处理前后对比Fig.4 Original left view(a),right view(b) of test image,before(c) and after(d) noise filter

5 总结

dL->R(x,y)>dR->L(x-dL->R(x,y),y) ,

  

图5 测试图像Fig.5 Original left view(a),right view(b),and reconstructed virtual image(c) of Tsukuba

参考文献References

[1] Lee C M G,Travis A R L,Lin R.Flat-panel autostereoscopic 3D display[J].IET Optoelectronics,2009,2(1):24-28

[2] Cheong L F,Gao Z.Quasi-parallax for nearly parallel frontal eyes-A possible role of binocular overlap during rapid locomotion[J].International Journal of Computer Vision,2103,101(1):45-63

[3] Singh M K,Gupta R D,Snehmani,et al.Effect of sensor modelling methods on computation of 3D coordinates from Cartosat-1 stereo data[J].Geocarto International,2016,31(5):506-526

[4] Ghassabeh Y A.On the convergence of the mean shift algorithm in the one-dimensional space[J].Pattern Recognition Letters,2014,34(12):1423-1427

[5] Hong S W,Shim W M.When audiovisual correspondence disturbs visual processing[J].Experimental Brain Research,2016,234(5):1325-1532

[6] Comaniciu D,Meer P.Mean shift:A robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):604-619

[7] Schmeing M,Jiang X Y.Faithful disocclusion filling in depth image based rendering using superpixel-based inpainting[J].IEEE Transactions on Multimedia,2015,17(12):2160-2173

[8] Verhaeghe P P,Van der Bracht K,Van de Putte B.Discrimination of tenants with a visual impairment on the housing market:Empirical evidence from correspondence tests[J].Disability & Health Journal,2015,9(2):234-238

[9] Gong M,Yang Y H.Fast stereo matching using reliability based dynamic programming and consistency constraints[C]∥Proceedings of International Conference on Computer Vision,2003:610

对于毛笔书法作品的法律特征的界定,应该建立在现行著作权法对作品和美术作品定义的前提下,兼顾我国传统毛笔书法艺术特征进行研究。

[10] Jin C M,Hong J.Intermediate view synthesis for multi-view 3D displays using belief propagation-based stereo matching[C]∥Third 2008 International Conference on Convergence and Hybrid Information Technology,2008:919-924

 
梅永,陈书圆,王友权
《南京信息工程大学学报(自然科学版)》2018年第02期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号