更全的杂志信息网

ORB-SLAM2车载双目视觉的自主导航性能评估

更新时间:2016-07-05

0 引言

近几年来,随着无人机、无人驾驶汽车、智能移动机器人相关技术的飞速发展,视觉导航作为一种非传统的定位技术被广泛应用。文献[1-2]提到:视觉导航仅利用单一相机传感器完成,精度稳定且无需场景和运动的先验信息,可避免由于传感器精度降低或低成本惯性测量单元(inertial measurement unit,IMU)漂移严重引起的误差发散问题;其被动无源的特点,也弥补了全球卫星导航系统(global navigation satellite system,GNSS)在复杂城市或室内环境下信号易受遮挡而无法定位的缺陷。

自1982年文献[3]首次提出了一套完整的基于计算机视觉的理论框架以来,视觉导航领域的相关算法和应用层出不穷。视觉导航算法根据其对图像信息的利用程度可分为特征法和直接法。直接法直接对图像所有像素点进行操作,可充分利用环境几何信息,其代表作为文献[4]的基于直接法的大范围单目即时定位和地图构建方法(large-scale direct monocular simultaneous localization and mapping,LSD-SLAM),在精确计算自身位姿的前提下,还可构建出大规模的半稠密地图。而单目定位构图(monocular simultaneous localization and mapping,MonoSLAM)、平行跟踪与地图构建(parallel tracking and mapping,PTAM)等算法则采用了对图像关键信息进行检测提取的特征法。MonoSLAM基于扩展卡尔曼滤波器实现,将相机位姿及地图点3D坐标作为状态向量进行观测更新,算法计算复杂度较高,且线性化也造成了一定误差。文献[5]提出基于关键帧提取及光束法平差优化的PTAM算法,首次将定位与构图分为2个独立工作的线程。2014年文献[6]提出的半稠密单目视觉里程计算法(semi-direct monocular visual odometry,SVO)则融合了特征法与直接法,首先采用加速分割检测特征(features from accelerated segment test,FAST)角点跟踪关键点,再根据关键点的周围信息估计帧间位姿,其实时性高、算法简洁,非常适用于平台受限的场合,如无人机、手持增强现实(augmented reality,AR)及虚拟现实(virtual reality,VR)设备等,该法对位姿估计精度依赖性强,易出现丢失和重定位的情况。为达到实时性的自主导航定位要求,文献[7]将特征信息在用于位姿估计后不进行保留,后续优化仅依据位姿关系,减轻了存储计算负担,其基于光束法平差(bundle adjustment,BA)的实时视觉定位构图算法成为了在大范围内进行定位构图的开创性作品。文献[8]的基于外观的实时定位构图方案(real-time appearance-based mapping,RTAB-MAP)则从内存管理机制角度出发,将定位点根据被访问的频率及存在的时间长度设置权重,以此为依据进行分类与修剪,从而提高了回环检测的效率。

二是科学的贷款损失拨备机制将减少金融运行的波动和振荡。在经济快速发展和扩张条件下,金融机构的不良贷款率低,金融监管中事后计提的准备金率小,这样就为金融运行埋下了潜在的信用风险。金融监管机构将会采取有针对性地使用贷款损失拨备的方法,要求金融部门提高拨备水平,以抑制经营中信贷资产扩张冲动带来的顺周期性,防止金融监管中顺周期性带来的金融资产质量风险问题。而在经济出现衰退或者下行期,会出现社会各类经营主体不良贷款率高的问题,金融监管部门此时就会要求金融机构在运行中降低贷款损失拨备比率,在金融运行中扩大信贷规模,缓释经济振荡与波动的顺周期性风险。

文献[9-10]提出的基于旋转不变特征点的实时定位构图系统(oriented brief-SLAM,ORB-SLAM)被公认为现有综合性能最好的视觉导航算法:在整体架构上延续了PTAM的多线程思想;但改进了PTAM需手动进行初始化的缺陷,扩展了应用环境的多样性和系统的交互性。ORB-SLAM实现了基于单目相机的实时算法,而ORB-SLAM2在此基础上扩展为双目、RGBD相机,并被广泛应用于采集车、无人机及室内外机器人等设备。

优质护理、循证护理、综合护理等新型护理模式在临床中的应用越来越广泛,进而也在一定程度上改变了护理人员的工作内容和形式,护理人员在为患者提供护理服务时,不仅需要为患者提供疾病方面的护理干预,同时还应关注患者心理方面、社会方面的需求;同时也改变了护理教育的范围[8]。通过学校教育已无法提高护理人员的业务能力,要想培养高水平、高素质和高层次的护理队伍,就需要选择更加有效途径,也就是继续教育,是对实用型护理人员进行培养的一种有效途径,也是对护理教育内涵进行提升的根本对策。

本文采用不同采集环境的车载数据对双目视觉自主导航性能进行评估,重点分析其整体定位定姿精度、累积误差随距离的变化情况以及回环检测对定位结果的影响。

1 利用ORB-SLAM2进行位姿估计

ORB-SLAM2整个系统分为位置跟踪、局部地图优化、回环检测3个并行处理的线程,其整体架构如图1所示。

图1 ORB-SLAM2算法整体架构

式中:P0为初始时刻相机在系统参考坐标系的位置坐标;Pi表示第i帧影像的相机拍摄中心在系统参考坐标系下的位置坐标;m为总帧数。若已知初始坐标原点的绝对位置,则可通过坐标变换递推得车辆在世界坐标系下的绝对行驶轨迹,实现车载双目视觉导航。

(1)

式中为系统参考坐标系相对于第i帧相机坐标系的旋转矩阵和平移向量。由于误匹配点的存在使得直接线性求解变得十分不可靠,故通常先采用运动模型或关键帧模型获得初始的位姿矩阵,再基于图优化模型最小化3D—2D重投影误差函数迭代求解以得到更精确的位姿,其误差函数为

(2)

通过位姿估计得到帧间的旋转平移关系后,可以初始位置为坐标原点,仅考虑车辆在系统参考坐标系的运动情况,反演出载体的行驶轨迹为

在对每帧影像进行以上操作的同时,局部地图优化线程存储关键点和关键帧,实时地优化局部若干帧的位姿及相应3D点的位置,对误差进行修正;而回环检测线程则通过回环探测和融合实现全局位姿优化。

式中:(uj,vj)为第j个特征点的像素坐标;N为匹配到的特征点总数;ρ为Huber损失函数用于外点的剔除;project()表示3D-2D重投影函数;Xj为第j个匹配点在系统参考坐标系中的x坐标;Σ为和每个特征点的尺度相关的信息矩阵。

(3)

跟踪线程主要负责每帧影像的位姿估计。经畸变矫正的双目序列影像和相机的标定参数输入至系统后,采用具有方向信息的多尺度FAST算子对影像进行特征提取,并用256位的具有方向信息的二元加速鲁棒特征(oriented binary robust independent elementary features,rBRIEF)二进制描述符表示特征点。根据小孔成像原理以及双目相机高度一致、光轴平行的特点,左右影像匹配后可重构出每对匹配点在相机坐标系中的坐标。将第一帧影像的左相机坐标系作为系统参考坐标系,通过序列影像的帧间匹配可将特征点的世界坐标进行传递和扩展,在帧间进行3D-3D对应估计可获得参考坐标系与每帧影像的相对位姿关系。设第i帧中某匹配特征点在该帧相机坐标系中的坐标为(x,y,z),与i-1帧进行匹配可得该点在系统参考坐标系中的坐标为(X,Y,Z),即

选取无回环的9号高速公路影像(全长2 451 m)及多回环的1号居民街区影像(全长2 204 m)进行处理,并统计其累积误差(滑窗宽度为100 m,统计窗口内为位置误差及姿态估计误差的均方根误差),如图6所示。

2 ORB-SLAM2位姿估计的关键技术

ORB-SLAM2可有效对目标物体进行跟踪,即使丢帧也可快速重定位,能够实现可靠的自主导航;其关键技术集中在特征提取与匹配和位姿精度优化2部分。文献[11]提到,特征提取与匹配的准确度保证了每帧左右及帧间影像重构的三维点的准确度,从而决定了位姿估计的整体精度,故提高特征提取与匹配的正确率是算法提升自主导航鲁棒性的有力措施;而多次的位姿精度优化则是在此基础上的双重保障。

1)特征提取与匹配:特征在提取时候做了网格处理,从而避免了特征点选取的不均匀性,在左右影像间进行特征匹配时相继用到了带状搜索、绝对差值和SAD(sum of absolute differences,一种图像匹配算法)滑窗以及抛物线拟合以确保匹配点达到亚像素级的精度;帧间匹配,在缺乏先验信息时,抛弃了传统的高维图像特征描述子比对,转而使用词袋模型(bag of words,BoW)对描述子进行分类,通过类别节点的设置大大简化了运算,反之则通过重构特征点、三角化或相似变换约束缩小搜索范围以加速匹配,并对特征点加入了正向景深、视差距离、反投影误差、尺度及旋转一致性的严格判定。

由图4可知,所有轨迹均与真值重合度较高,整体定位精度约为1.02 %,即行驶100 m偏离真值1 m,角度误差为0.001 9 deg/m,各方向定位精度在4~5 m左右,定姿精度在0.6~0.7 deg之间,如表1所示。

图2 Local BA优化共视

如图所示,邻接共视帧KL1、KL2、KL3的位姿及其共视点PL1PL2PL3的位置在优化中被修正,而包含共视点但非邻接关键帧KF1、KF2的位姿则在优化中被设为固定,只参与计算,不进行优化。若帧间特征点的匹配关系(用χ表示)已知,则其优化函数可表示为

(4)

本次分析采用的数据为卡尔斯鲁厄工学院和丰田技术学院(Karlsruhe Institute of Technology and Toyota Technological Institute,KITTI)联合提供的数据集的序列影像,其采集环境主要为高速公路、公路及居民街区。实验设备包含1套OXTS RT 3003的GPS/IMU组合导航系统、4个灰点公司的Flea 2系列相机、4个埃蒙德的4~8 mm变焦镜头,分析数据仅涉及其中2个灰色相机。相机与地平面平行安装,采样帧率为10 Hz,其实验设备和不同环境的采集影像如图3所示。

3 实验与结果分析

为了对基于ORB-SLAM2的车载双目视觉自主导航进行全面的性能评估,本节将采用不同道路采集环境的数据对其算法的整体定位测姿性能及其累积误差随载体行驶距离的变化、回环检测对自主导航结果的影响等方面做细致分析。

式中:Rt分别为对应帧的旋转矩阵和平移向量;下标l表示对应的共视帧;下标k表示共视帧与关键帧的交集。当通过一系列自适应阈值筛选得到可靠的候选回环帧并进行回环修正后,系统会另开辟线程执行Full BA。Full BA是Local BA的扩展,除初始帧外,所有关键帧和地图点均被优化;故可有效解决因误差累积导致的尺度漂移问题,大大提高系统的定位测姿精度,提升双目自主导航的可靠性与稳定性。

3.1 整体精度分析

以差分GPS/IMU的组合定位结果为参考值,解算轨迹与参考值的偏差值大小,结果由不同灰度值表示,如图4所示,灰度越深代表误差越大。

图3 实验装备与数据采集

图4 整体轨迹误差

2)位姿精度优化:除单帧位姿优化外,系统还将在关键帧插入后对局部窗口帧及地图点进行局部光束法平差(local bundle adjustment,Local BA),在成功进行回环修正后对所有关键帧及地图点进行全局光束法平差(full bundle adjustment,Full BA)。Local BA对由关键帧和地图点的连接关系进行优化,构造而成的共视图(covisibility graph,CG)图2所示。

表1 ORB-SLAM2的整体精度统计

影像序列位置误差相对/(%)角度误差相对deg/m位置均方根差/m角度均方根差/degxyz航向横滚俯仰多闭环序列0.5620.000 7 4.495.833.810.860.630.65单闭环序列0.5130.001 4 1.612.220.930.490.50.32无闭环序列1.9700.003 610.537.196.520.450.990.81平均1.0200.001 9 5.545.083.760.600.710.60

由表1可知:回环轨迹的整体定位定姿精度显著优于无回环轨迹;单闭环轨迹在回环融合附近的误差修正效果明显,而无回环轨迹随着行驶距离的增加误差明显逐渐发散。对多回环影像序列2、序列3的异常轨迹分析发现,大转弯、照片过曝或阴影遮挡会影响定位测姿精度,而影像中的在相机视野内持续运动物体会严重干扰位姿估计,如图5所示,3号轨迹中异常轨迹段中,有一辆摩托跟随行驶了500多米。

现如今,城市住房的消费市场上已经不只包括城市居民了,还包括了许多迁移进入城市的流动人口,他们在城市中租房甚至买房,而这势必会影响到城市居民对于住房的消费,因为按照供求原理,供给没有变,但是需求却随着外来迁移人口的进入而大大增加了。

图5 3号序列影像中特殊场景分析

3.2 累积误差随距离变化的影响分析

增量式的位姿估计会导致绝对位置误差不断累积,位姿愈发发散,从而最终限制系统的整体精度。

实行“1+3”专业人才培养模式改革,即第一学年全面学习各个舞种的基本功,按照专业发展要求实行拉丁舞专业理论核心课程,以加强对专业教育的引导和衔接。第二学年至第四学年全面实行专业技能提升教育。培养专业能力拔尖的学生进入校队,并聘请专业能力较强的教师在课余时间授课,给学生参与竞赛和表演创造条件,以培养学生实践能力。

加强信息技术产业融合。信息技术既是现代高科技的核心,也是未来信息作战的基本支撑,具有很强的军民融合性。应把国防动员信息化建设纳入地方数字化建设发展战略,利用地方现有信息技术基础设施,扩展国防动员指挥网,建立军地互联共用的指挥通信网络;借助地方信息技术发展优势,通过嫁接、移植等方式,把地方信息技术、信息资源等领域的创新成果融合到国防动员建设中;加强情报信息中心、军地情报协作机制建设,构建军地互动、融合共享的大情报体系。

早在1999年6月时任副总统的戈尔就宣布参加党内初选。大选日当天,戈尔超过布什50多万票,但后来佛罗里达州点票出了问题,最终该州法院判定布什胜出。而在选举人票中,戈尔以微弱的 差 距——266对271,惜败布什。败选后的他渐渐淡出政坛,投身环境保护事业,成为国际上著名的环境学家。2006年,戈尔推出自己参与制作和演出的纪录片《难以忽视的真相》和同名书籍,讲述了全球变暖的危害和工业化给人类家园带来的毁灭影响,引起强烈反响,一举获得了第79届奥斯卡金像奖的最佳纪录片与最佳电影歌曲奖。2007年他被授予诺贝尔和平奖。

在本书里,经营之圣稻盛和夫讲述的不是自己如何成功,而是母亲的教育如何让他走向成功。他深情谈论家庭对他的塑造和影响,明确指出他成功的真正根源是母亲教给他的“利他”与“斗魂”,母亲的处事哲学也让他在人生转折点总能选择正确的道路。这不仅是稻盛和夫首部家教励志大作,也是他献给所有父母的一堂“心法”教育课。

图6 位置、姿态累积误差随距离的变化

由图6可知:高速公路环境下的行驶路线,各方向位置精度随距离增长呈明显线性发散趋势,行驶到2 500 m左右时,侧向精度将近达到25 m,而居民街区轨迹由于多次的回环修正,各方向精度均始终保持在2 m左右;姿态精度在2种采集模式下无明显规律可循,均始终保持在1 deg以内,原因在于相对姿态误差在局部的位姿优化中有很大程度的修正,而回环影像的优势主要在于可修正由误差积累所导致的尺度漂移的问题。故无回环轨迹各方向的位置精度随距离呈约1 %的线性发散,而经过回环修正则可使精度始终保持在2 m,提高了车载自主导航的鲁棒性。

3.3 回环修正对结果的影响分析

为进一步定量分析回环修正对定位测姿精度的改善情况,本小节选取4组长距离回环序列影像进行分析,对有回环修正和无回环修正2种模式下的定位测姿精度分别进行统计,并重点对6号序列影像进行细致分析,如表2所示。

图4是开环斜面运动过程中的机身滚转角变化仿真图。1.3s与2.1s分别是第一个运动周期内RH与LH处于摆动相的时刻,可以看到这两个时刻的机身滚转角绝对值较大。观察机器人的爬坡过程,可以发现RH与LH处于摆动项时,机器人机身会发生明显倾斜,即RH处于摆动相,机身明显向右倾;LH处于摆动相,机身明显向左倾。现做如下处理:若机身右倾,令LH的臀关节角度减少、髋关节角度增加;若机身左倾,令RH的臀关节角度减少、髋关节角度增加。以上操作均可减少机身的滚转角度绝对值,使机身趋近水平位置。

表2 回环修正结果精度统计

影像序列 位置精度/m角度精度/deg回环修正无回环修正回环修正无回环修正回环12.626 54.725 10.563 21.212 8回环21.073 41.908 40.475 60.591 8回环314.211 215.823 71.253 54.052 8回环44.622 48.717 80.683 51.680 9

由表可知,针对不同序列影像,闭环检测平均约可改善36 %的位置精度和50 %的姿态估计精度。

进一步分析比较6号影像轨迹(如图7所示)可以发现:没有进行回环修正的轨迹尺度漂移明显,各方向的位置逐渐偏离参考值,误差逐渐增大,姿态误差也存在发散趋势,但幅度较小;反之,成功的回环修正可使得起点与终点高度重合,明显修正位置误差,起到抑制误差发散、优化整体位姿精度的作用。

图7 6号影像轨迹比较

4 结束语

本文介绍了利用ORB-SLAM2车载双目视觉自主导航的基本位姿估计原理及其关键技术,重点对ORB-SLAM2的自主导航性能进行评估,分析了其整体定位测姿精度、累积误差随行驶距离的变化情况以及回环修正对结果的具体影响。对一定量序列影像数据分析得出:该算法的整体定位相对精度约为1.02 %,定姿相对精度约为0.001 9 deg/m;在无回环探测时,位置误差随行驶距离呈现明显的1 %线性发散;成功闭环探测约可提高36 %的位置精度和50 %的姿态精度,且无发散情况,定位精度始终保持在2 m左右。故该算法存在和其他导航系统或传感器,如GNSS、IMU等进行组合导航的理论基础。目前视觉导航发展的难点和热点为高精度、高效率及多传感器融合,故在接下来的研究中,将着重对视觉导航和IMU及GNSS组合系统的相对姿态标定以及组合导航方案进行深入研究,望实现一套完整可靠、低成本、高精度的双目视觉辅助惯导/GNSS的组合导航实时系统。

参考文献

[1] SCARAMUZZA D,FRAUNDORFER F.Visual odometry:Part I:the first 30 years and fundamentals[J].IEEE Robotics & Automation Magazine,2011,18(4):80-92.

[2] 权美香,朴松昊,李国.视觉SLAM综述[J].智能系统学报,2016,11(6):768-776.

[3] 卢维.高精度实时视觉定位的关键技术研究[D].杭州:浙江大学,2015.

[4] ENGEL J,SCHÖPS T,CREMERS D.LSD-SLAM:large-scale direct monocular SLAM[C]//Anon.Proceedings of European Conference on Computer Vision.Zurich:Springer,2014:834-849.

[5] KLEIN G,MURRAY D.Parallel tracking and mapping for small AR workspaces[EB/OL].[2017-02-19].http://www.robots.ox.ac.uk/~gk/publications/KleinMurray2007ISMAR.pdf.

[6] FORSTER C,PIZZOLI M,SCARAUZZA D.SVO:fast semi-direct monocular visual odometry[EB/OL].[2017-02-19].http://rpg.ifi.uzh.ch/docs/ICRA14_Forster.pdf.

[7] KONOLIGE K,AGRAWAL M.FrameSLAM:from bundle adjustment to real-time visual mapping[J].IEEE Transactions on Robotics,2008,24(5):1066-1077.

[8] LABBÉ M,MICHAUD F.Appearance-based loop closure detection for online large-scale and long-term operation[J].IEEE Transactions on Robotics,2013,29(3):734-745.

[9] MUR-ARTAL R,MONTIEL J M M,TARDS J D.ORB-SLAM:a versatile and accurate monocular SLAM system[J].IEEE Transactions on Robotics,2017,31(5):1147-1163.

[10] MUR-ARTAL R,TARDS J D.ORB-SLAM2:an open-source slam system for monocular,stereo,and RGB-D cameras[J].IEEE Transactions on Robotics,2016,33(5):1255-1262.

[11] FRAUNDORFER F,SCARAMUZZA D.Visual odometry:Part II:matching,robustness,optimization,and applications[J].IEEE Robotics & Automation Magazine,2012,19(2):78-90.

沈燕芬,张小红,朱锋
《导航定位学报》 2018年第02期
《导航定位学报》2018年第02期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号