更全的杂志信息网

基于加权中值滤波的MST立体匹配算法

更新时间:2009-03-28

0 引 言

自从2002年Scharstein等[1]提出立体匹配算法的分类与评价以来,大多数的立体匹配算法被分成4个部分:1)匹配成本;2)成本聚合;3)视差优化;4)视差求精。全局立体匹配算法[2-4]主要是采用全局优化建立能量函数方法估计视差,通过最小化全局能量函数得到最优视差值。相对于全局立体匹配算法,局部立体匹配算法是在限定的范围内计算聚合代价,因此,速度优于全局立体匹配算法。传统的自适应窗口方法[5]和自适应权重方法[6]都是在局部窗口中计算匹配成本,在视差计算上通常陷入局部最优的缺陷,而且窗口过大易出现边界模糊,窗口过小易出现噪点。Hirschmuller等[7]提出了减小边界误差的方法,在经典算法上,只需要限制成本聚合阈值就能够有效地减小误差。Yang Qingxiong[8]提出了MST最小生成树的立体匹配算法,该方法基于全局最小生成树的代价聚合方法,兼具了局部匹配算法速度快和全局匹配算法精度高的优点,但对弱纹理区域和边缘区域效果一般。Ma Ziyang等[9]提出了恒定时间加权中值滤波在立体匹配中的应用,有效地提高了立体匹配中图像边缘的准确率。Li Linchen等[10]提出了多个最小生成树的三维成本聚合的立体匹配算法,通过使用三维坐标定义视差图,结合多个最小生成树和块匹配[11],有效地改善了MST不平滑和误匹配。Hamzah等[12]提出迭代引导滤波和图像分割的立体匹配算法,通过实验组合各种算法,找到最优的匹配效果。

上述的立体匹配算法都极大地提高了匹配效果,但MST最小生成树立体匹配算法仍然存在匹配成本不合理,聚合阈值和后处理不够准确等不足。针对以上算法的不足,本文提出一种改进的最小生成树立体匹配算法。本文主要有2点贡献:提出一种改进的最小生成树匹配成本和提出加权中值滤波后期视差优化方法。

1 改进最小生成树立体匹配算法

本章提出一种新的匹配成本算法,介绍MST算法如何在图像中建立最小生成树,并分析通过2次遍历就能计算所有的聚合代价值,最后用图像对比算法的差异。

1.1 新匹配成本

匹配成本是用来比较左右图像对应像素点的差异,左右图像对应像素匹配成本越小,那它们很有可能是相互匹配的点。本文定义的每个像素点的匹配成本Cd(p)是由图像水平方向的梯度Gx和像素颜色值I(p)决定,在此基础上为了扩大匹配成本差异,改进匹配成本,新的匹配成本Cd(p)可表示为:

2)节能标准体系的建立。为了实现节能管理的科学化、定量化,指导所属单位在各个环节都能规范节能管理,中国海油累计制修订了24项企业标准。这些标准的制定和发布实施规范了集团公司的节能工作,为各单位的节能工作提供了重要依据和指导。

Cd(p)=exp (α·‖I(p)-I(q)‖+(1-α)Gx)

(1)

其中,d代表视差,α为固定的参数,p表示左图像素点,q表示右图对应的像素点。

1.2 MST最小生成树

原始图像被视为网格无向图。每个像素当作一个节点,每个节点都与相邻的像素点相连。设s和r是一对相邻像素,s和r之间的连接权重w(s,r)可表示为:

为了更好地说明改进匹配方法与MST效果,本文用2种方法对比Middlebury数据集中Baby3图,图3(a)为改进的成本匹配算法,图3(b)为MST最小生成树算法,图3(c) 为原图和真实视差。

如果每个像素都要计算一遍聚合代价,那这个算法是很复杂的,最小生成树的立体匹配算法其实只需要遍历2次就可以知道每个点的聚合代价。图2左图为以v6为根节点,从叶子到根节点,记录下每个节点中间聚合代价,在聚合代价中用向上的箭头表示中间聚合代价,根据图2可知叶子节点v3中间聚合代价为自己本身,v5中间聚合代价为:

(2)

其中,I(s)和I(r)表示图像RGB三个通道的颜色值。

书写心得、阅读报告。最初尝试时,很多学生不清楚要从哪几个方面着手去写作。我们带领学生分析了书前面“序言”部分的写作思路,以此启发学生。比如,有学生推荐《嫌疑人X的献身》这本书,就以自己撰写的阅读心得为素材展开,开头谈到“有时候,一个人只要好好活着,就足以拯救某个人。这是我读完《嫌疑人X的献身》后,感触最深的一句话”。接下来,对书的写作思路进行了阐析,分享了自己对于书中主要人物的性格、命运的理解与解读。在这个过程中,也培养了学生的分析理解能力,搜集、整理资料的能力和写作能力。

  

图1 最小生成树图

电子商务专业是一个大步前进并且有别于传统的专业,属于新兴学科。在院校教学从事电子商务的教师,很多是非本专业毕业的。很多教师是由类似专业过来的。他们中有的电脑知识储备不足,有的业务水平和实习培训经验不足,给教学带来了很多问题,学生的专业技能的训练也不能很好地展开。

在图1中,左图每个像素都与它周围像素相连接,右图根据克鲁斯卡尔算法,按照权值由小到大的次序选取,若选边后不形成回路,则保留作为一条边,若形成回路则除去。图中箭头表示选取的路径,环形表示叶子节点。

最小生成树就是把相似的点连接在一起,通常2个像素在最小生成树中步数越近,那么它们越相似。最小生成树中2个节点之间的相似性L(p,q)可以表示为:

(3) 随外部加载力的增大,超千米深井巷道围岩变形破坏特征分为三个阶段:缓慢变形阶段、剧烈变形阶段和严重变形破坏阶段。巷道围岩产生大变形非对称性破坏,且破坏范围较大,顶底板最大破坏深度达到34mm,巷道围岩失去承载能力,巷道空间完全封闭。

 

(3)

其中,D(p,q)=D(q,p)表示p、q之间的在最小生成树中的距离,σ为一个常数定值,用于控制L(p,q)大小。

pre(vc)=v表示vc有共同的节点v,也就是v的孩子节点,叶子节点

 

(4)

式(10)中,g(x,y)和f(x-i,y-j)分别为输出和输入像素灰度值,W为模板窗口。

(2)温度一定时,ND钢和Corten钢2种钢材的无应力工况腐蚀速率随着浓度升高先升高再处于平缓,有应力工况腐蚀速率普遍高于无应力的,但是在20%浓度时腐蚀速率有所下降。

 

(5)

  

图2 最小生成树遍历图

同理可以得到任意一个点v中间聚合代价表示为:

其一,情感的撕裂性。情感的开放性与封闭性已是现代城市社会中人们生活的两条平行线,情感的合理性载体缺失,导致情感的释放依赖于酗酒,甚至是毒品。情感的碎片化使情感与情感之间撕裂,情感的这种固化使得情感的本质属性即共同感丧失。碎片式的情感富集与情感黏性,造成情感之间的排斥和以情感划分的圈子文化。情感的断层又进一步造成情感冲突,致使情感的本体性安全无处安置。

 

(6)

在这里,匹配成本决定了左右图匹配是否吻合,相似性决定了这些匹配成本对所求的p点的影响值,最小生成树代价聚合是计算图像中所有点对p点的贡献,因此p点代价聚合值可以表示为:

图2右图为从根到叶子节点遍历一次。原来根节点是v6,这里定义新的根节点为v5,可以根据之前得到原来根节点的聚合代价得到新的根节点聚合代价,新根节点聚合代价可以表示为:

 

(7)

因此其他各点的最终聚合代价可以表示为:

165 二仙汤抗骨质疏松有效组分对维甲酸致骨丢失大鼠的影响 张建花,沈 燚,何玉琼,韩 婷,秦路平,张巧艳

 
 

(8)

在这里表示该节点最终当作根节点的聚合代价,表示从叶子到该节点的中间聚合代价,从式(8)中可以知道,当前根节点只与上一个根节点和自身的中间聚合代价有关,在第一次遍历中从叶子节点到根节点都记录了各个节点的中间聚合代价,从根节点到叶子节点遍历中都记录了上一个根节点的最终聚合代价,因此只需要遍历2次就可以知道每个点的聚合代价。

1.3 视差求精

首先,局部立体匹配采用WTA(Winner-Take-All)策略,求出最小的聚合代价该值对应的d就是本文要求的该点深度。其次,以左、右图像作为参考图依次运行最小生成树的成本聚合方法,得到2幅相应的视差图。然后,对2幅图像进行左右一致性检测,把图像分为稳定的点和不稳定的点。最后,在左视差图上定义新的代价值,再次使用MST,对所有像素重新进行代价聚合,根据WTA策略得到新的视差,新的匹配成本定义公式可表示为:

 

(9)

新的代价值中不稳定的点全为0,它的最终聚合代价全由稳定点提供,最终视差值从稳定点扩散至不稳定点。

w(s,r)=w(r,s)=‖I(s)-I(r)‖

  

(a) 改进匹配成本 (b) MST (c) 真实视差图3 改进算法和MST对比图

图3中,(a)图中的线框里匹配正确,(b)图中的线框里有一部分未匹配出深度,(c)图为Baby3部分原图和真实视差图,从图中可以看出改进的匹配成本能够降低视差误匹配。

2 加权中值滤波

本章介绍中值滤波和加权中值滤波算法,然后比较加权中值滤波对视差图的改善效果。

去掉那些权重较大的边,使一幅图串联权重最小,这就是图像的最小生成树,如图1所示,左图表示原始图,右图表示最小生成树图。

2.1 中值滤波

中值滤波[13]是一种非线性的图像平滑方法,它能够很好地滤除脉冲噪声,同时又能够保护目标图像边缘。中值滤波把邻域中的像素按照灰度值进行排序,然后选择该组的中间值作为输出像素值,中值滤波可以定义为:

g(x,y)=median{f(x-i,y-j)} (i,j)∈W

(10)

其中,∑q表示所有点与p点匹配代价总和。

2.2 加权中值滤波

视差图本身就有误匹配,在视差图上做中值滤波虽然能够去掉一些噪点,但也会导致物体边缘轮廓不清晰。为了解决这个问题,引入了加权中值滤波[14]。加权中值滤波给视差图每个像素点加一个权重,这个权重由原图得到。加权中值滤波不仅能够除去噪声,也能够根据原图矫正物体的边缘。加权中值滤波表达式可定义为:

综上所述,在起搏器间歇性感知功能字符异常的临床诊断中采用动态心电图检测展示良好效果,存在比较高的检出几率,检出准确性比较好。

g(x,y)=median{f(x′,y′)w(x′,y′)}

(11)

式(11)中,g(x,y)为加权中值滤波值。f(x′,y′)为输入像素灰度值,w(x′,y′)为原始图像像素的权重值,(x′,y′)是以(x,y)为中心的窗口像素。

在Middlebury数据集中,Aloe是一盆花卉,它能够很好地说明加权中值滤波与中值滤波的差异。图4中,(a)图的线框里放大图的花卉的边缘要比(b)图的更平滑,(c)图为Aloe部分原图和真实视差图。可看出使用加权中值滤波的图像边缘更加接近真实视差。

1)斜放四角锥三层网架比正放四角锥三层网架刚度大,在相同的荷载及支撑条件下,斜放四角锥三层网架跨中挠度较小。阀厅屋盖挠度按照1/400控制,跨中最大挠度允许值为225 mm,在不考虑预起拱的情况下,正放四角锥网架要8 m高才能满足挠度要求,斜放四角锥网架高度大于6.8 m时即可满足挠度要求。

  

(a) 加权中值滤波 (b) 中值滤波 (c) 真实视差图4 加权中值滤波和中值滤波对比图

3 实验结果与分析

本文的测试平台为:PC机,3.60 GHz AMD FX-8150,8 GB内存,Visual Studio 2013。实验数据来自于2003、部分2007 的Middlebury数据集和KITTI2015数据集,该数据集包含Tsukuba、Venus、Teddy、Cones、Aloe、Art、Baby1、Baby2、Baby3、Books、Cloth2、Cloth3、Dolls和4张户外街道图。首先,对算法进行定量分析,比较MST和本文算法误匹配率。其次,比较2种算法的平均运行时间。最后,对数据集进行定性的比较,给出4张经典的Middlebury和4张KITTI的效果对比图。

由表1可知本文算法在Tsukuba、Venus、Teddy、Cones、Aloe、Baby1、Baby3、Cloth2、Cloth3中误匹配更低,在Art、Baby2、books、Dolls中MST误匹配率低。MST平均误匹配率为7.20%,改进的MST平均误匹配率为6.93%,因此改进的MST能够降低误匹配。

靖康二年(1127)宋高宗无力阻挡金人攻势,选择南迁。“京师未可往,当巡幸东南为避敌之计”①,“故士大夫率附其议”②。南宋初年,随着政权南移,大量士族、民众、包括赵宋宗室移居南方,给当地带来了人口和财富,影响深远。本文针对中原士族、抗金义军、赵宋宗室以及中原百姓的南迁做一分析讨论。不当之处,请方家指正。

 

表1 图像误匹配率 单位:%

  

图像MST本文算法Tsukuba8.207.38Venus0.250.21Teddy6.165.83Cones2.942.68Aloe5.014.89Art12.0212.06Baby110.5610.23Baby218.0118.20Baby37.315.64Books10.4810.75Cloth24.204.06Cloth32.171.93Dolls6.266.29平均7.206.93

2种算法在Middlebury数据集上对每幅图片的平均运行时间如表2所示,MST平均运行时间为1.04 s,本文算法平均运行时间为1.16 s,由于改进了匹配成本,后处理使用了加权中值滤波,所以整体运行时间要比MST更耗时。

 

表2 算法平均运行时间 单位:s

  

算法平均运行时间MST1.04本文算法1.16

进一步分析3种方法在标准的Middlebury的最终视差图,结果如图5所示。在图5中有Tsukuba、Venus、Teddy、Cones这4张经典图,改进的MST在误匹配上要优于MST,目前可以看出加权中值滤波改进MST,在匹配效果图上最好,在边缘和误匹配上都达到最优。

 

(a) 原图 (b) MST (c) 改进匹配成本 (d) 本文算法

图5 Middlebury效果对比图

室外的场景条件复杂,更具挑战性。利用本文算法对KITTI上的数据进行试验,结果如图6所示。可以看出,MST在室外环境下匹配效果很差。经过加权中值滤波和改进匹配成本处理后,误匹配明显减少,由此可得本文算法在室外环境下比MST更接近真实视差。

  

(a) 原图 (b) MST (c) 本文算法图6 KITTI效果对比图

4 结束语

本文针对MST图像误匹配和边缘模糊的问题,提出了一种新的基于最小生成树立体匹配成本方法和加权中值滤波方法,旨在提高匹配成本差异和引导图像边缘。实验结果表明,本文算法在Middlebury和KITTI数据集中能够获得很好的匹配效果。新的算法还是无法改善倾斜或者弧度的表面出现波浪式深度,因此下一步工作重点将是研究使用三维坐标表示深度图。

参考文献

[1] Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International Journal of Computer Vision, 2002,47(1-3):7-42.

[2] Boykov Y, Veksler O, Zabih R. Fast approximate energy minimization via graph cuts[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002,23(11):1222-1239.

[3] Kolmogorov V, Zabih R. What energy functions can be minimized via graph cuts?[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2004,26(2):147-159.

[4] Yang Qingxiong, Wang L, Ahuja N. A constant-space belief propagation algorithm for stereo matching[C]// IEEE Conference on Computer Vision and Pattern Recognition. 2010:1458-1465.

[5] Zhang Ke, Lu Jiangbo, Lafruit G. Cross-based local stereo matching using orthogonal integral images[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2009,19(7):1073-1079.

[6] Yoon K J, Kweon I S. Adaptive support-weight approach for correspondence search[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2006,28(4):650-656.

[7] Hirschmüller H, Innocent P R, Garibaldi J. Real-time correlation-based stereo vision with reduced border errors[J]. International Journal of Computer Vision, 2002,47(1-3):229-246.

[8] Yang Qingxiong. A non-local cost aggregation method for stereo matching[C]// IEEE Conference on Computer Vision and Pattern Recognition. 2012:1402-1409.

[9] Ma Ziyang, He Kaiming, Wei Yichen, et al. Constant time weighted median filtering for stereo matching and beyond[C]// IEEE International Conference on Computer Vision. 2013:49-56.

[10] Li Linchen, Yu Xin, Zhang Shunli, et al. 3D cost aggregation with multiple minimum spanning trees for stereo matching[J]. Applied Optics, 2017,56(12):3411-3420.

[11] Bleyer M, Rhemann C, Rother C. PatchMatch stereo-stereo matching with slanted support windows[C]// British Machine Vision Conference. 2011:14.1-14.11.

[12] Hamzah R A, Ibrahim H, Hassan A H A. Stereo matching algorithm based on per pixel difference adjustment, iterative guided filter and graph segmentation[J]. Journal of Visual Communication & Image Representation, 2016,42(1):145-160.

[13] Perreault S, Hebert P. Median filtering in constant time[J]. IEEE Transactions on Image Processing, 2007,16(9):2389-2394.

[14] Rhemann C, Hosni A, Bleyer M, et al. Fast cost-volume filtering for visual correspondence and beyond[C]// IEEE Conference on Computer Vision and Pattern Recognition. 2011:3017-3024.

 
赵大成,许道云
《计算机与现代化》 2018年第05期
《计算机与现代化》2018年第05期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号