更全的杂志信息网

基于MSER特征的无人机倾斜影像匹配算法

更新时间:2009-03-28

无人机出现于1917年,早期无人机技术广泛应用在军事领域,用于作战、侦察和民用遥感[1-2]。随着计算机技术、通讯技术的迅速发展及不同类型硬件传感器的研发,无人机各方面的性能也在不断提高,其应用的领域和范围也在不断拓展,再续航时间和载荷重量大幅提高[3]。倾斜影像匹配是摄影测量中的核心问题,影像匹配是在不同角度、时间、传感器拍摄具有一定重叠区域的影像上自动检测同名点的过程。现有的影像匹配算法可以分为两大类:灰度匹配、特征匹配。在众多局部不变特征匹配中[4], 2009年,Moreal和Yu提出一种具有完全仿射不变性的ASIFT[5](Affine Scale Invariant Feature Transform)匹配算法。但该算法应用于倾斜无人机影像匹配时依然存在一些问题:(1)由于倾斜摄影相机之间都保持了一定的角度,同一地物在影像上的方向差异比较大,有时会出现上下颠倒的情况,在布局上呈中心对称。(2)影像灰度值不一致。成像视角的变化会因地物反射率的方向性差异使得进入相机镜头的光强不一致,从而导致影像灰度的不同。(3)地面分辨率不一致。由于成像时地物与相机角度、距离均不同,同一地物在不同影像上的地面分辨率不一致,即使在同一张影像内,远景地物地面分辨率低于近景地物地面分辨率。(4)重叠度高,数据冗余信息多,影像匹配过程需要大量时间。

针对倾斜无人机影像存在较大的仿射变形与阴影问题,国内外学者从仿射不变特征检测与特征点描述两个方面进行研究,如李建磊、王光辉等采用DAISY描述符与全局纹理描述符结合进行影像匹配[6];姚国标、邓喀中等采用MSER特征与Hessian-Affine特征进行融合,并利用SIFT特征描述子进行匹配[7];刘玉轩、蓝朝桢等改进SIFT匹配算法,通过划分格网实现影像上Harris兴趣点的均匀分布,提高无人机影像匹配的精度与算法效率[8];杨涛、张艳宁等通过SIFT与Harris-Affine特征互补完成影像间的匹配工作[9];杨化超、王永波等提出单应矩阵和对极几何双重约束的宽基线立体匹配算法,通过筛选最优特征点集进行最小二乘稀疏匹配,并估计单应矩阵和基本矩阵,剔除明显的错误匹配点对[10];Montoliu,R等提出粗匹配和精匹配两个阶段,首先采用SIFT算法进行初始匹配消除影像明显的几何变形,然后采用最小二乘算法提高匹配点的定位精度,实现高精度的影像匹配[11]。K Mikolajczyk、T Tuytelaars等通过大量的实验对比分析仿射不变特征性能,得出目前MSER特征的仿射不变性能较好[12];然而,上述方法存在如下问题:(1)多数采用Harris-Affine或者SIFT特征点进行影像匹配,该类算法在影像视角变化较小情况下取得效果较好,但在倾斜无人机影像上获得的同名点较少。(2)无人机影像分辨率高,影像的纹理信息丰富,提取的特征点较多,匹配效率较低,难以满足无人机影像快速、准确的影像拼接要求。

因此,本文提出一种基于最大稳定极值区域的仿射不变特征的无人机倾斜影像匹配算法。算法首先,在MSER特征提取与优化的基础上,利用POS数据粗略计算影像间仿射变换参数,提供后续矩形约束中心点位;然后,通过特征点对的全局均方根误差约束,迭代运算剔除误匹配点对;最后,将该算法在倾斜无人机影像上实验,通过对比SIFT算法与Herris-Affine灰度匹配算法验证本文提出的匹配算法的鲁棒性与计算效率等。

4)滤波器的时延特性随温度的变化基本一致,为防止温度变化由频飘引入的时延波动恶化,应适当地拓宽通频带,并且保证在同一温度条件下测试比对。

在全球一体化日益深化和绿色经济迅猛发展的新形势下,随着世界经济的持续复苏,全球林产品贸易仍将呈现积极的发展态势,特别是由于亚洲和南美洲林产品加工业的迅速发展,其在林产品国际贸易中将扮演越来越重要的角色。同时,随着城市化进程在全球范围内进一步深化,家庭日益变小,家庭户数将出现增长趋势,人们对房屋、家具、锯木和木质人造板等的需求将持续增长,从而会促进林产品贸易的发展。

1 基于MSER仿射不变特征匹配算法

印章在现代生活中的应用也很广泛。一些重要的通知、文件上盖了公章以后就具有了法律效力,可以起到证明和鉴定的作用。

1.1 MESR特征检测与筛选

当李小树重新提起这个话题的时候,我躺在床上挑起半边嘴角不经意地轻笑了一声。我想李小树也会和我一样,过不了两天就会把这事忘得一干二净,就像李小树说要去寻找许春花一样,我也只认为他只是一时冲动随口说说而已。后来我又迷迷糊糊地睡着了,天不见亮的时候,手机又发神经地响了起来。我瞄了一眼,看到又是李小树拨过来的电话,这次我没给他说话的机会,接起电话我就对着话筒吼:“李小树,你到底有完没完?你还让不让人睡觉了?”

  

1 算法流程

(2)特征归一化。参考影像上f=(x,U)与待匹配影像上f′=(x′,U′)为影像上任意同名特征点对,其中xx′为特征点的坐标,UU′表示确定唯一椭圆特征局部区域的协方差矩阵,椭圆长半轴与倾角值可以通过协方差矩阵的特征向量与特征值计算得到。椭圆局部区域N(x)与N′(x′)对应归一化步骤如图2:① 根据式(1)对协方差矩阵进行归一化,获得为了避免计算得到方向的奇异性,对进行统计梯度直方图,并拟合曲线获得主方位角θθ′;② 根据式(2)计算得到旋转矩阵RR′,对于依据式(3)进行旋转,获得最终的归一化局部区域

(1)特征检测。最早在J.Matas最早在论文中提出最大稳定极值区域MSER算子,经过相关学者的验证被业界认为是性能较好的仿射不变区域,对于存在仿射变化的影像灰度具有不变性,且该区域的支持集具有相对灰度变化稳定,可用于检测不同精细程度的区域。当使用不同的灰度阈值对影像进行二值化时得到的最稳定的区域,前后相邻阈值影像间的连通区域,最终得到MSERs。因此MSERS分为MSERs+与MSERs-。对于从同一场景得到的两幅具有仿射变换的影像来说,提取的放射不变区域在扭曲变形、尺度大小与旋转方向上存在差异。虽然MSER得到用椭圆形拟合的仿射不变区域,为了方便进行后续处理,要椭圆形拟合并归一化为圆形,同时放大MSER区域。

(1)

 

(2)

 

(3)

  

2 MSER特征归一化

(3)特征筛选。影像匹配的正确率与影像局部信息量存在密切的相关性[13]。因此采用局部影像信息熵的大小确定仿射不变区域选着的指标,过滤掉提取的MSER特征熵值较小的区域。具体如下:①依据上步提取的MSER局部区域,根据式(4)计算局部信息熵;对计算得到的信息熵进行排序,设置特征点集的过滤条件,只要信息熵大于Pmin就保留;②并对影像划分格网21×21规则格网;③依据格网内平均信息熵,确定格网内最终特征点的数量,筛选出最终高质量的特征点集。

 

(4)

在矩形约束匹配前,以POS数据估计相邻影像的仿射变换参数。如图5,对于影像上任意待匹配点b1,以仿射变换对于参考影像上b2,以b2为矩形中心,以R为距离确定的矩形区域范围内的特征点集。然后,采用NCC迭代运算待匹配特征点集,确定待匹配为对应的同名点。依次遍历参考影像所有特征点,得到粗匹配点集。

  

3 初始MSER特征

1.2 MSER特征匹配

依据均方根误差(RMSE)式(6)验证计算得到的仿射变换模型与匹配精度,其中N为初始匹配点数量。

本文算法主要包括:MSER特征检测、特征优选、矩形约束匹配、误匹配点剔除等几部分组成,具体步骤如图1所示。

  

4 基于信息熵筛选特征

  

5 矩形区域约束匹配

为了避免初始匹配中存在明显误匹配点对,采用公式(5)仿射变换模型剔除粗差,利用初始匹配点集,更新影像间的仿射变换参数a11a12a21a22ΔxΔy

初始MSER特征点存在大量过密的局部特征,不利于后续快速匹配、高精度的NCC矩形区域约束匹配。采用基于划分格网的方法,过滤掉部分信息熵较低的区域,同时保证特征点的均匀分布,为下文提供高质量的待匹配点集。

② 采用初始匹配点对均方根误差( RMSE) 剔除明显的误匹配点对。

 

(5)

式中,xrefyref表示参考影像的行列号,xinpyinp表示经过变换参数计算得到坐标。

本文提出匹配策略可以分两步: ① 利用 NCC 相关系数法迭代计算每个待匹配点对应矩形域约束内的特征点相似性,如图5所示,完成初始匹配;

 

(6)

全局均方根误差约束匹配的思想:①遍历所有初始匹配点对,如果RMSE大于1像素,就剔除对应的匹配点对;②遍历结束后更新仿射变换参数,如果RMSE全局误差还大于1像素则重复执行①,直到全局RMSE误差小于1像素或者匹配点对为3对时结束误匹配对剔除。

翻转课堂教学法基于“整体化教学设计”的理念,涵盖课前与课后两个环节,这两个环节环环相扣,彼此紧密相连。在课前环节,主要完成知识传授过程,大多包括微视频自主学习、课前测验以及在视频学习过程中设置在线讨论,开展形式相对比较固定。其中“微视频自主学习”是课前任务中主要组成部分,可以让学生自定进度开展学习,即按照自己的步骤、节奏学习,可以暂停、倒退、重播,有利于根据个人情况完成学习、夯实基础。从这些任务可以看出,课前关注的主要是学生的任务完成情况,也就是“努力程度”。而在课中环节,则主要完成对知识的内化与拓展,注重课堂质量与学生的学习深度。

2 实验结果与分析

针对存在仿射变形与阴影无人机倾斜影像,用于本文方法进行影像匹配,并进行匹配精度验证。本文的算法在酷睿双核2.5 G处理器,4 G内存,Windows 7操作系统,Visual Studio 2013为平台对本文算法进行实验。实验中信息熵阈值Pmin=6.8,矩形长宽为51像素。

2.1 影像匹配实验

为验证本文方法的有效性,选着具有代表影像为验证本文算法,选取有代表的甘肃省兰州市郊区2016年7月拍摄的无人机影像数据,图 6为参考影像于相邻区域待匹配影像(4 000 ×3 000,将其缩小4倍为1 000×750)。影像上MSER特征点均匀分布,对后期倾斜无人机影像的匹配有利。从图7匹配的实验结果看出,本文算法对存在仿射变形以及存在阴影区域的无人机倾斜影像的匹配是有效的。

  

6 原始匹配影像对

  

7 无人机倾斜影像匹配结果

2.2 影像匹配结果分析

为充分验证本文方法优势,将本文算法同经典的SIFT 特征匹配与Herrian-Affine 灰度影像匹配算法进行对比实验,试验结果如结表1所示。在MSER特征提取后由于采用为高信息熵筛选有利于提高倾斜影像匹配成功率而且减少匹配所消耗的时间,用提取的MSER特征直接进行 NCC 灰度影像匹配,该方法虽然匹配前包含大量的待匹配点集( 见图 2) ,但最终得到正确匹配点对数目最少。通过分析可知过多的特征候匹配点,计算相关系数增加算法整体的复杂度,如果候选匹配点存在大量非同名点时,匹配结果中容易存在大量误匹配。经典的SIFT 无人机影像特征匹配方法,获得最多的匹配点,而且匹配的正确率也比较高,但 SIFT 特征点定位精度过低,但匹配点的定位精度较低。为验证本文算法的匹配精度,试验中挑选均匀分布在重叠影像内的9对匹配点。通过9对匹配点计算影像间仿射变换参数,将剩下的匹配点对左影像中同名点坐标带入计算得到仿射变换参数,分别与右影像中算法提出的同名点坐标比较,匹配误差如下: x方向误差范围为-0.63 pixe ~ 0.49 pixel,y方向误差范围为-0.57 pixel ~ 0.38 pixel,总体均方根误差为0.52pixel。

 

1 倾斜无人机影像匹配结果

  

匹配算法初始匹配对有效匹配对/%正确率/%时间/msSIFT算法49341884.79533H-A灰度算法39535088.61481本文算法24823594.76376

3 结 语

本文采用MSER仿射不变特征用于存在仿射变形与阴影无人机倾斜影像;首先利用空间信息熵的方法选取质量较好的仿射不变特征;然后用仿射矩形区域约束进行特征匹配,提高了倾斜无人机影像的匹配成功率同时也节省匹配阶段搜索的时间;最后,采用均方根误差剔除初始匹配中定位精度较差的匹配点对,得到精度较高的匹配点对。通过试验结果表明本文方法的可行性,从而为倾斜无人机影像匹配算法提供一种新思路。

参考文献:

[1] 马国超,王立娟,马松,等.基于激光扫描和无人机倾斜摄影的露天采场安全监测应用[J]. 中国安全生产科学技术, 2017,13(5):73-78.

[2] 闫利,叶志云. 几何约束条件下的SIFT倾斜影像匹配[J]. 测绘通报, 2016(1): 37-40,44.

[3] 谭仁春,李鹏鹏,文琳,等. 无人机倾斜摄影的城市三维建模方法优化[J]. 测绘通报, 2016(11): 39-42.

[4] 张振超,戴晨光,莫德林,等, 影像倾斜度对ASIFT匹配有效性的影响[J]. 测绘科学技术学报, 2014,31(5): 514-518.

[5] Morel, J.M. and G. Yu, ASIFT: A New Framework for Fully Affine Invariant Image Comparison. Siam Journal on Imaging Sciences, 2009,2(2): 438-469.

[6] 李建磊,王光辉,高宁,等. 结合全局信息描述子的局部特征匹配算法[J]. 测绘科学, 2016,41(7): 33-36,58.

[7] 姚国标,邓喀中,张力,等.融合互补仿射不变特征的倾斜立体影像高精度自动配准方法[J]. 测绘学报, 2013,42(6):869-876,883.

[8] 刘玉轩,蓝朝桢,李参海,等. 无人机影像匹配中尺度不变特征应用改进[J]. 测绘科学, 2016,41(7): 37-40,46.

[9] 杨涛,张艳宁,张秀伟,等. 基于场景复杂度与不变特征的航拍视频实时配准算法[J]. 电子学报, 2010, 38(5): 1069-1077.

[10] 杨化超, 姚国标,王永波. 基于SIFT的宽基线立体影像密集匹配[J]. 测绘学报, 2011,40(5): 537-543.

[11] Montoliu, R. and F. Pla, Generalized least squares-based parametric motion estimation[J]. Elsevier Science Inc,2009(2):790-801.

[12] Mikolajczyk, K., et al., A Comparison of Affine Region Detectors[J]. International Journal of Computer Vision, 2005,65(1-2):43-72.

[13] 姚国标.倾斜影像匹配关键算法及应用研究[J]. 测绘学报, 2015,44(3): 354-354.

 
韩宇
《矿山测量》 2018年第02期
《矿山测量》2018年第02期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号