更全的杂志信息网

一种基于边缘特征的改进ORB算法

更新时间:2016-07-05

0 引言

图像匹配是数字图像分析和处理的基本问题,是图像处理技术应用的重要前提,现已广泛应用于图像融合、机器人自主行驶、目标跟踪与识别和视觉导航[1]等领域。基于特征的图像匹配算法因其计算量小、计算速度快,是当前图像匹配技术的主流方向。经典的点特征图像匹配算法有SIFT[2](Scale Invariant Feature Transform)算法、SURF[3](Speeded Up Robust Features)算法和ORB[4](Oriented FAST and Rotated BRIEF)算法等。根据实验验证[4],ORB算法的性能优于SIFT与SURF算法,在具备旋转不变性的同时,其计算速度是SIFT算法的100倍,是SURF算法的10倍。

ORB算法计算速度较快,能抵抗旋转变换。但由于可见光图像和红外图像的灰度差异大,ORB算法对可见光和红外图像匹配效果较差,容易出现较多的错误匹配点。国内外已公布的基于点特征进行的可见光与红外图像匹配研究较为有限。文献[5]在点特征检测与描述的基础上,采用广义Hough变换与随机采样一致性相结合的方法进行特征匹配,实现了对可见光与红外图像的匹配。文献[6]利用特征点的形状上下文描述符,对红外图像和可见光图像进行匹配。

虽然可见光图像和红外图像的灰度信息差异较大,但其具有相同的边缘信息,因此基于边缘特征的匹配算法是解决可见光和红外图像匹配的有效途径。文献[7]提出了一种基于直线几何形状特征的可见光和红外图像匹配方法。文献[8]利用线段上下文描述符对可见光与红外图像进行匹配。文献[9]提出基于互相关系数和canny边缘区域相结合的匹配算法。

本文将边缘特征引入ORB算法,提出了一种基于边缘特征的改进ORB算法。该算法采用了一种基于改进最大类间方差法的自适应canny算子检测可见光图像和红外图像的边缘,将两幅边缘图像作为ORB算法的输入,利用最近次临近原则实现粗匹配,用RANSAC算法实现精匹配,从而加强ORB算法对可见光与红外图像匹配的性能。实验证明,该算法对可见光与红外图像匹配具有较好的鲁棒性,能获得较多的正确匹配点对和较高的匹配正确率,有利于推广使用于可见光与红外图像融合等领域。

乒乓球运动对智力的开发有积极的影响。在比赛的过程中,双方运动选手会不停思考怎样发球、怎样接球等战术问题,因此乒乓球运动对于人的脑力与智力都有一定的锻炼作用。此外,在训练和比赛中也能起到锻炼人的反应能力的作用。因为乒乓球运动要求在短时间内要通过节奏、落点和旋转的变化作出相应的技术反应,这就要求选手熟练掌握各项技术,在训练或比赛过程中能够合理运用技战术,形成属于自己的打法特点。所以它能够提高锻炼者的综合素质。

1 ORB算法原理

3)非极大值抑制:对梯度幅值图像M中的类边缘区域的屋脊带进一步做细化处理,得到梯度幅值局部区域的最大值,抑制局部区域内的干扰值,从而获得更加精确的边缘。

1.1 特征点检测

ORB算法利用改进FAST算法进行特征点检测。FAST算法具有计算量小、可靠性高等优点,但FAST算法无法获取特征描述所需的方向信息。因此,ORB算法采用灰度矩心法提供特征点主方向信息。

灰度矩心法假设特征点的灰度与邻域灰度质心之间存在一个偏移向量,这个向量可用于表示一个方向。对任意一个角点,定义特征点区域的灰度矩为:

(x,y)

(1)

其中,I(x,y) 为点(x,y) 处的灰度值。于是,邻域灰度矩心为:

(2)

其中,(x,y)(x,y)(x,y)。

那么特征点与邻域灰度质心的夹角定义为ORB特征点的方向:

θ=arctan(m01,m10)

(3)

为了提高该方法的旋转不变性,取以特征点为圆心、半径为r的圆形区域为特征点的邻域,上述的点(x,y)均在圆形区域内。

作业前的安全确认具有至关重要的作用,是安全生产的最后一道防线。能够在作业前进行安全确认,这是一个企业安全文化普及的效果,体现着企业员工安全意识的高低以及企业安全规则的执行情况等。安全确认主要的内容是确认运维范围以及内容是否清晰、对现场的危险因素是否全面掌握、对危险源的防范是否做到位、作业现场的设备和工具是否安全,工作人员的操作是否规范等。作业者一定要养成安全确认的习惯,这是防范事故的有效措施。

1.2 特征点描述

ORB算法利用改进BRIEF算法进行特征点描述。BRIEF算法速度快,但对噪声敏感,不具备旋转不变性。为了加强算法的抗噪声能力,ORB算法根据Gauss分布,在特征点周围的31×31像素邻域内随机选取5×5的子窗口,对窗口进行RBF平滑处理获得其灰度积分,用窗口灰度积分的比较代替点对像素值的比较。为了使描述子具备旋转不变性,ORB算法将特征点的主方向应用于BRIEF。

聚合物保温砂浆的导热系数低,属于无机非金属保温材料[5]。砂浆硬化后抗压强度高,拉伸粘接强度高于普通水泥砂浆,不易产生变形,与大气环境接触时具有较好的耐候性和耐久性。试验用聚合物砂浆的组成材料为:P.O 42.5普通硅酸盐水泥、中砂、纤维素、聚丙烯纤维、胶粉、水。聚合物砂浆设计配合比如表2所示。

BRIEF中点对灰度的比较值又叫做binary test值,其定义为:

τ(p;x,y)

(4)

其中,p(x) 是平滑后点x处的像素灰度值。在特征点领域内取n个点对,BRIEF描述子可表示为:

fn(p)(p;xi,yi)

(5)

然后,ORB算法将所有点对进行旋转。在算法实现时,定义所有点对为2×2n的矩阵:

3)利用RANSAC算法剔除步骤2中的错误匹配点对,在可见光图像和红外图像中展现出结果。

(6)

其中,每一列[x y]T 为点对中某一点在图像中的位置。定义特征点的主方向为θ ,其旋转矩阵为Rθ,则旋转后的特征点对矩阵为:

Sθ=RθS

(7)

则ORB算法的描述符为:

gn(p,θ)=fn(p)|(xi,yi)∈Sθ

(8)

不同特征点的BRIEF描述子具有较大的差异性,不容易误配。而经过旋转处理后的描述子各成分间的相关性大,容易出现误匹配的现象。因此ORB算法利用贪婪搜索,找到n个像素块对使其相关性最低,并构成描述符。

1.3 特征点匹配

因为ORB描述符为二进制形式,匹配时需要用汉明距离(Hamming Distance)进行相似性度量,并利用最近次临近法进行判断。汉明距离体现了两个二进制字符串的相关程度,当两个关键点之间的最短和次最短汉明距离比例小于0.5时,认为这两个特征点匹配成功。

2 基于边缘特征的改进ORB算法

ORB算法具备运算速度快、抗旋转变换的能力,但其对可见光和红外图像匹配的效果不佳。据研究,可见光和红外图像具备相似的边缘特性,因此本文将边缘特征引入ORB算法中,从而实现可见光与红外图像的匹配。

canny算子与传统的微分算子相比具有运算速度快和检测精度高的优点,是实践中广泛使用的一种边缘检测算法。然而canny算子的双阈值均依靠人工设定,在实际运用过程中需要用不同的数值进行尝试,过程比较繁琐。因此,需要研究一种依据图像梯度幅值的自适应canny算子。

2.1 canny算子原理简述

如图4和图5所示,当图像背景与目标灰度差异较大时,canny算子与改进canny算子的检测结果相近。canny算子检测的边缘存在毛刺,不够平滑;改进canny算子忽略了部分细节边缘,利于后续的匹配。

G(x)

(9)

其中,σ 为Gauss函数的标准差,控制平滑程度。

2)梯度计算:采用2×2邻域1阶偏导的有限差分H1H2 计算平滑图像I′(x,y)中各点两个方向的像素梯度dx(x,y)和dy(x,y) ,获得平滑图像I′(x,y)的梯度幅值M(x,y) 和梯度方向θ(x,y),其中:

(10)

dx(x,y)=I(x,yH1dy(x,y)=I(x,yH2

(11)

M(x,y)

(12)

θ(x,y)

(13)

ORB算法是基于FAST算法和BRIEF[10]算法的改进算法,ORB算法继承了这两种算法的优点,拥有高效的计算效率。BRIEF特征不具备抗旋转变换的能力,为了使ORB特征具备旋转不变性,该算法分别对FAST算法和BRIEF算法进行了改进。

其基本思想是使用一个3×3邻域作用于梯度幅值图像M的所有点,如果邻域中心点的梯度幅值M(x,y) 比沿梯度方向θ(x,y)上的两个相邻点幅值大,则将当前的邻域中心点判别为可能的边缘点,否则将M(x,y)赋值为0,判别为非边缘点。

从图3可以看出,试验期间,不同覆盖条件下,水温平均日较差从高到低为单层薄膜覆盖、对照、双层薄膜覆盖;单层薄膜覆盖条件下,30、60 cm水深的池子水温平均日较差分别为5.9、5.8℃, 相差不大;双层薄膜覆盖条件下,30、60 cm水深的池子水温平均日较差分别为2.5、2.2℃,同样相差不大;但露天条件下,60 cm 水池的变化范围在 2.3~7.0℃,平均日较差为4.3℃,比30 cm的水池高1.1℃。双层薄膜覆盖、露天处理的日较差变化趋势基本一致,表现为晴天条件下日较差较大,多云次之,阴天最小;而单层薄膜覆盖表现为多云条件下日较差较大,晴天次之,阴天最小。

4)确定高低阈值:在经过非极大值抑制的梯度图像基础上,根据人工设定的阈值参数来确定作为真实边缘像素个数占所有像素的比例,并在此基础上来确定高阈值Vh和低阈值Vl

5)边缘检测:用双阈值法对经过非极大值抑制的梯度图检测出最接近真实目标的边缘轮廓,扫描图像,若点(x,y)的梯度幅值M(x,y) 大于高阈值Vh,则将该像素点标识为边缘点;若梯度幅值M(x,y)小于低阈值Vl,则标识该点为非边缘点;幅值介于VlVh之间的像素点,则将其看作可疑边缘,再进一步依据周围像素的连通性对该像素进行判断。

2.2 改进最大类间方差法(改进Otsu法)

最大类间方差法即Otsu算法,可以自适应地确定阈值。利用图像的灰度信息把图像分类成目标和背景,目标与背景之间的类间方差越大,分类越正确。当目标和背景存在一定程度的错分时,相应的类间方差会变小,所以当类间方差最大时,目标与背景错分的概率最小。传统的Otsu算法设置一个阈值将原始图像分成目标和背景两个部分,由于红外图像的边界较模糊,部分目标和背景之间的灰度级相隔较近,分成3类能较好地区别出这一类灰度较小的目标,有助于canny算子获得更精确的高低阈值。因此,本文设置两个阈值T1T2,且0<T1<T2<L,其中L为图像的灰度最大值。

使用T1T2把输入图像处理为3类,即C0C1C2。其中,C0由图像中灰度值在[0,T1]范围内的所有像素组成,C1由灰度值在[T1+1, T2]范围内所有像素组成,C2由灰度值在[T2+1, L]范围内所有像素组成。由阈值 T1T2,像素被分到类 C0C1C2中的概率分别为P0(T1,T2)、P1(T1,T2)和P2(T1,T2),如式(14)~式(16)所示。

P0(T1,T2)

(14)

P1(T1,T2)

(15)

P2(T1,T2)

(16)

2)分别对可见光图像和红外图像的边缘图像进行ORB特征提取与描述,并进行粗匹配。匹配时,根据最近次临近原则,采用最小汉明距离度量特征点间的相似性。

初等运算、变量代换、恒等变形等方法是将待求极限表达式化简,再根据极限的四则运算(极限四则运算前提条件:有限项,各项极限均存在,分母的极限不能为零)、复合运算法则计算极限,是极限运算的最基本方法。

因此,整个图像的平均灰度值为C2的平均灰度值分别为:

(T1,T2)

(17)

(T1,T2)

(18)

(T1,T2)

(19)

C0C1C2类间方差表示为:

σ2=   P0(T1,T2)(T1,T2)    P1(T1,T2)(T1,T2)    P2(T1,T2)(T1,T2)

(20)

类间方差最大时的阈值T1T2即为canny算子的高低阈值。

2.3 基于改进Otsu法的自适应canny算子

基于Otsu法的自适应canny算子能够根据图像灰度的梯度幅值自动地找出合适的高低阈值,从而实现自适应canny算子增强算法的自动化程度。其具体实现步骤如下:

《国家中长期教育改革和发展规划纲要(2010-2020年)》明确指出:高等教育要适应国家和区域经济社会发展需要,重点扩大应用型,复合型,技能型人才培养规模。为适应经济社会和学科专业发展需要,教育部2012年将本科层次的旅游管理升级为一级学科,旅游管理类本科包括旅游管理,酒店管理,会展经济与管理三个专业[1]。2016年,“十三五”全国旅游业发展规划被纳入国家“十三五”重点专项规划。“一带一路”国家战略的提出,给国内外酒店行业带来了巨大的发展机遇,一些地区和国家对酒店管理专业人才更是提出了更高的要求。

1)采用传统canny算子的1~3步得到经过非极大值抑制的梯度图像;

2)根据梯度图像中各像素的灰度,采用改进Otsu法计算得到分割目标与背景的高低阈值;

本文实验测试的环境为:Intel Core i3,CPU 2.93GHz,内存4.0GB。本文基于改进Otsu法的自适应canny算子和canny算子在Matlab R2014a中实现,canny算子中人工设定的阈值参数为0.7。本文采用的测试图像如图2所示,每一组的分辨率分别为256×183、204×160和250×185。

鉴于二段浓缩池对煤泥水浓缩面积不足的现状,将事故浓缩池与二段浓缩池并联使用,增加煤泥水浓缩面积,满足煤泥水浓缩要求。事故浓缩池作为二段使用后,其底流由压滤机处理。改造后的煤泥水处理系统工艺流程见图2。

2.4 基于边缘特征的改进ORB算法

由于可见光与红外图像的边缘图像具有一定的相关性,且边缘是图像中最基本和比较固定的特征,所以利用边缘图像上提取的特征点进行图像匹配,有利于匹配精度的提高。针对ORB算法无法实现可见光与红外图像的匹配,本文提出了基于边缘特征的改进ORB算法,算法的工作示意图如图1所示,主要步骤如下:

图1 基于边缘特征的改进ORB算法工作示意图 Fig. 1 Scheme diagram of improved ORB algorithm based on edge feature

1)采用基于改进Otsu法的自适应canny算子获取可见光图像和红外图像的边缘图像。

其中,pi为灰度级为i的概率,ni为灰度级为i的像素数,N为图像总的像素数。

随着时代的不断发展和进步,个性化服务已经成为了高校毕业生就业指导发展的必然趋势。这就要求高校必须充分发挥大数据技术的优势,在有效整合大学生学习成绩、兴趣爱好、技能等各方面信息的基础上,为大学生的职业规划提供积极的建议和帮助,才能从根本上促进大学生就业率与就业质量的稳步提升。

The so-called CIE 1931 chromaticity system is the CIE-xyz chromaticity system. The x axis color coordinates equal to the ratio of red primary colors and the y axis color coordinates equal to the proportion of green primaries. So, the z axis color coordinates are 1 − (x + y).

3 实验结果及分析

3.1 基于改进Otsu法的自适应canny算子性能测试

3)将高低阈值输入canny算子的第5步,得到边缘图像。

(a) 可见光测试图像1   (b) 红外测试图像1

(c) 可见光测试图像2   (d) 红外测试图像2

(e) 可见光测试图像3   (f) 红外测试图像3  图2 边缘检测算法测试图像 Fig.2 Test image of edge detection algorithm

canny算子和基于改进Otsu法的自适应canny算子(简称“改进canny算子”)的边缘检测结果如图3~图5所示。

(a) 可见光图像1 canny算子检测结果    (b) 可见光图像1改进canny算子检测结果

(c) 红外图像1 canny算子检测结果    (d) 红外图像1改进canny算子检测结果 图3 第1组测试图像边缘检测算法结果 Fig.3 Edge detection results for the first set of test images

(a) 可见光图像2 canny算子检测结果    (b) 可见光图像2改进canny算子检测结果

(c) 红外图像2 canny算子检测结果   (d) 红外图像2改进canny算子检测结果 图4 第2组测试图像边缘检测算法结果 Fig.4 Edge detection results for the second set of test images

(a) 可见光图像3 canny算子检测结果   (b) 可见光图像3改进canny算子检测结果

(c) 红外图像3 canny算子检测结果   (d) 红外图像3改进canny算子检测结果 图5 第3组测试图像边缘检测算法结果 Fig.5 Edge detection results for the third set of test images

如图3所示,当图像中存在较多纹理时,canny算子的边缘检测结果受图像纹理的影响较大,改进canny算子的边缘检测能较好地抵抗图像纹理的影响,保留较为完整的外部轮廓。

1)图像平滑:采用一维Gauss滤波函数G(x) 分别按行和列对原始图像I(x,y)进行卷积操作得到平滑图像I′(x,y)。

3.2 基于边缘特征的改进ORB算法性能测试

本文实验测试的环境为:Intel Core i3,CPU 2.93GHz,内存4.0GB。基于边缘特征的改进ORB算法和ORB算法均在基于OpenCV2.4.9的VS2010中实现,测试图像如图2所示,实验结果图如图6、图7和图8所示。表1和表2为ORB算法和本文算法的匹配结果数据。

如图6和图7所示,当可见光图像和红外图像的灰度差异不强烈时,ORB算法有一定的匹配效果,但本文算法的匹配效果更好。如图8所示,当可见光图像和红外图像的灰度差异非常强烈时,ORB算法失效,而本文算法能正常工作。因而,本文算法具备较强的鲁棒性。

(a) ORB算法匹配结果

(b) 基于边缘特征的改进ORB算法匹配结果 图6 第1组测试图像实验结果 Fig.6 Results for the first set of test images

(a) ORB算法匹配结果

(b) 基于边缘特征的改进ORB算法匹配结果 图7 第2组测试图像实验结果 Fig.7 Results for the second set of test images

(a) ORB算法匹配结果

(b) 基于边缘特征的改进ORB算法匹配结果 图8 第3组测试图像实验结果 Fig.8 Results for the third set of test images

如表1和表2所示,本文算法获取的精匹配对数、正确匹配对数均比ORB算法多,且本文算法的匹配正确率均在80%以上,远远高于ORB算法,具有较好的匹配性能。

南冠T1120C影室灯采用创新设计,将两种不同色温的灯珠集于一灯之中,实现3200K-5600K色温自由变换,营造不同氛围灯光环境,玩转创意摄影,高亮度使拍摄的模特五官更加清晰,皮肤更细腻,画面更加立体,高显指可以使拍出来的产品颜色更真实,衣服颜色不会偏差,人物脸色更加红润。

表1 ORB算法匹配结果

Table 1 Matching results of ORB algorithm

实验组别粗匹配对数精匹配对数正确匹配对数匹配正确率117161381.25%21311327.27%33000

表2 基于边缘特征的改进ORB算法匹配结果

Table 2 Matching results of improved ORB algorithmbased on edge feature

实验组别粗匹配对数精匹配对数正确匹配对数匹配正确率150413892.68%232272281.48%317161593.75%

4 结论

针对ORB算法对可见光图像和红外图像匹配效果差的问题,本文提出了一种基于边缘特征的改进ORB算法。首先提出了基于改进Otsu法的自适应canny算子,然后对边缘图像提取ORB特征,最后采用最近次临近方法进行粗匹配,用RANSAC法进行精匹配。

通过3组实验证明,本文算法能在可见光图像和红外图像灰度差异较大时正常工作,具有较好的鲁棒性。该算法能有效地提高ORB算法对可

见光和红外图像匹配的性能,能获得足够多的正确匹配特征点对,具有良好的匹配正确率。

参考文献

[1]    Jia K, Chan T H, Zeng Z, et al. ROML: a robust feature correspondence approach for matching objects in a set of images[J]. International Journal of Computer Vision, 2016, 117(2):173-197.

[2]    Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[3]    Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features(SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[4]    Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]. IEEE International Conference on Computer Vision, 2011, 58(11):2564-2571.

[5]    Bodensteiner C, Huebner W, Juengling K, et al. Local multi-modal image matching based on self-similarity[C]. IEEE International Conference on Image Processing, 2010, 119(5):937-940.

[6]    张姣, 李俊山, 朱英宏,等. SIFT与形状上下文结合的异源图像匹配算法[J]. 激光与红外, 2012, 42(11): 1296-1300.

ZHANG Jiao, LI Jun-shan, ZHU Ying-hong, et al. Matching method of IR/visual images based on SIFT and shape context[J]. Laser & Infrared, 2012, 42(11):1296-1300.

[7]    方兰兰, 刘贵喜, 吕孟娇, 等. 利用边缘直线特征的异源图像配准[J]. 光学精密工程,2015,23(10):752-760.

FANG Lan-lan, LIU Gui-xi, LYU Meng-jiao, et al. Multi-source matching of multi-sensor images based on edge line features[J]. Optics and Precision Engineering, 2015,23(10):752-760.

[8]    张亚红, 夏仁波. 基于直线段上下文的红外与可见光图像匹配[J]. 科学技术与工程, 2015, 15(12):210-214.

ZHANG Ya-hong, XIA Ren-bo. A matching algorithm of infrared and visible images based on segment context[J]. Science Technology and Engineering, 2015, 15(12):210-214.

[9]    陈亮, 周孟哲, 陈禾. 一种结合边缘区域和互相关的图像配准方法[J]. 北京理工大学学报, 2016, 36(3):320-325.

CHEN Liang, ZHOU Meng-zhe, CHEN He. A method for image registration combined by edge region and cross correlation[J]. Transactions of Beijing Institute of Technology, 2016, 36(3):320-325.

[10]    Calonder M, Lepetit V, Strecha C, et al. BRIEF: binary robust independent elementary features[C]. European Conference on Computer Vision, 2010:778-792.

陈艳,曾庆化,王云舒,刘建业,刘昇
《导航与控制》 2018年第02期
《导航与控制》2018年第02期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号