更全的杂志信息网

基于视觉和激光传感器信息融合的楼梯结构参数估计*

更新时间:2016-07-05

0 引 言

目前楼梯识别方法主要分为基于视觉传感器的楼梯识别方法和基于激光传感器的楼梯识别方法。Se S等人采用基于单目视觉传感器的方法,对图像进行Gabor滤波,进而用消失点约束来寻找阶梯边缘特征直线,最后利用单一性搜索方法估计楼梯偏移角。Lu X等人采用了融合立体视觉提取的三维边缘点信息和单目视觉提取的图像边缘线的方法,获得了楼梯的结构参数,但精度有限,识别效果受环境影响比较大。与摄像头对比,激光测距仪有测量精度高、受光照条件影响小、测量范围大等优点,在楼梯参数估计方面被大量使用。Theeravithayangkura C等人采取将单线激光雷达进行旋转的方式获得稠密的三维点云,再将三维点云逐列提取线段并将线段聚合后提取楼梯的竖直平面,最后依据提取出的平行的竖直平面来构建楼梯模型,但识别效果非常依赖提取线段的断点位置,如果楼梯比较老旧、形状不够规则,无法保证成功构建楼梯模型。Oßwald S等人通过单线激光俯仰的方式获得三维点云,采用改进的线段分组方法进行平面提取,进而估计楼梯结构参数。该方法依然对于楼梯有较高的要求,只有楼梯平面比较规则时才会有较好的效果。

本文提出了一种新的楼梯结构参数估计方法,该方法精度较高、通用性强、对楼梯形状是否规则没有过高要求,可以通过后期校正处理光照等影响。

1 楼梯结构参数确定

1.1 技术方案

本文根据室内楼梯环境特点,考虑其他应用(如自主避障)需求,以及前人经验,应用Pointgrey FL3-GE-03S2C-C工业千兆以太网相机和Velodyne VLP-16三维激光雷达组成的测距系统采集楼梯地形环境信息。工业相机采集的数据为分辨率为640×480的彩色图片;激光雷达采集的数据为雷达坐标系下的坐标值。执行攀爬任务前,机器人位于楼梯不远处且大致正对楼梯。图1(a)为使用工业相机采集的楼梯模型图像数据。图1(b)为激光雷达采集图像的俯视图,其中紧密排列的矩形即为楼梯,特征明显,且容易用数学方法表示和计算相关参数。

这一天,窗外北风裹着细雨,凄冷得很。办公室里暖气开得足足的,我捧着一杯奶茶,坐在电脑前发呆。一想起前几天去校园和大朋友、小朋友们欢乐互动的情景,我的嘴角就露出“谜之微笑”,完全忘记了自己用笔帽夹住刘海的样子有多傻。直到神出鬼没的铁丝人突然冒出来,丢下一封信后又“闪退”,我才如梦初醒:喂——别跑!昨天就轮到你打扫卫生了!

图1 实验用楼梯及点云数据

如图2所示为技术方案。

图2 技术方案

定义机器人正前方为Y正轴,正右方为X正轴,正上方为Z正轴,将激光点云数据变换到机器人坐标系下表示。

1.2 台阶深度与宽度确定

利用霍夫变换提取直线。提取出楼梯特征直线后,首先区分楼梯台阶直线和扶手直线。

为了利用霍夫变换算法,本文将激光点云俯视图处理为二值图像。处理时要记录下每一个像素与点云数据的对应关系,目的是利用从图像中提取出的特征线段坐标选出落到台阶立面上的点云数据。

将图1(b)点云数据投影到XY平面,发现在激光雷达位置高于台阶时,有相当大的概率会使激光点落到台阶水平面上,给直线的提取带来问题,所以,保留激光雷达坐标系下Z>0的激光点。

如果机器人与楼梯呈一个较小的角度,为了能够融合视觉和激光传感器进行识别,必须要调整姿态到近似正对楼梯。此时,扶手直线与台阶直线的斜率乘积近似为-1,则提取出的直线可用斜率的正负区分为2组。根据直线几何关系挑选出特征直线,进而估算出机器人相对楼梯的位置,并调整机器人位姿,使其正对楼梯。

图8(a)为经过图像处理后,提取出的特征直线。图8(b)为点云直线映射到可见光图像中。

由于基于图像信息进行结构参数确定的效果受光照条件、边缘和特征提取效果等因素影响较大,并不一定能够准确估计出结构参数,所以,在攀爬楼梯过程中要对台阶高度进行校正。本文采用了GNSS组合惯导系统NV-GI310实时获得机器人的运动信息。该传感器在室外和室内条件可保持高精度数据输出。利用机器人的俯仰角,根据直角三角形的性质进行台阶高度校正。

1.3 台阶高度确定

此楼梯所有结构参数都确定完毕,攀爬过程中可根据参数自主进行构型优化,改变重心,增加攀爬稳定性。

随着我国经济的不断发展,制造行业呈现出专业化分工的发展趋势,同时衍生了许多服务性的外包需求,例如对于人力资源的培训、物流、税务等,这使得制造业和服务业开始出现融合,有人称这种现象为“2.5产业”。

图3 点云直线与台阶边缘直线比例关系示意

如图6所示,W为采用文中方法获得的台阶宽度,α为机器人攀爬过程中的俯仰角增量,台阶高度h

图4 台阶点云三维图

1.4 台阶高度校正

荀绰为晋秘书监荀勖之孙。石勒于公元319年建立后赵政权,于冀州设“君子营”,荀绰“没于石勒,为勒参军”,留冀州,著《冀州记》,其时在嵇康被害60多年之后[2]。则在这60余年里,康集已经传世,但其中非仅嵇康一人的诗文,而是另收有张叔辽的《自然好学论》;因可设论,《嵇康集》是其死后别人整理而集的,此人不唯搜辑嵇康的诗文,而是将与嵇康作品密切相关的他人作品也辑入该书,合称《嵇康集》。

机器人在逐渐由摆臂引导到楼梯上到完全脱离地面的时间内,俯仰角随时间增加,直到完全脱离地面,俯仰角趋于稳定,如图5所示(图中由于传感器安装问题,机器人俯仰角为传感器测量值的相反数。横坐标长度不随着时间的增加而增加,只显示固定时间内的俯仰角变化情况。下图为上图的延续,其中,上图横坐标为42 s处的点与下图横坐标为8 s的点为同一点)。

图5 俯仰角变化曲线

如图4所示为挑选出的点云数据,设投影到图像坐标系下的点云直线距离为X、楼梯台阶高度为Y,有可得式中XY通过图片中像素点的位置获得,HW通过被分割为单条直线的激光点云数据经计算得到。

无人机遥感技术在获取到地面的相关遥感数据后,可以根据DOM以及红外信息对于图形进行拼接以及矫正,对于灾情进行更加准确和全面的掌握。遥感技术不仅能够检测地质灾害的表面信息,还可以通过这些数据信息对于地质灾害的体形,位置,程度进行自动分析并统计记录。根据系统自带的GIS软件对于该类数据进行叠加,自动计算出地质灾害可能造成的经济损失以及人员伤亡情况,同时也能根据此次地质灾害对未来该区域可能会发生的地质灾害进行预测和评估[5]。全方面多角度的对地质灾害近况进行较为精准的评估,这也是无人机遥感技术在地质灾害检测中的应用之一。

h=W·tan α

(1)

图6 台阶高度校正几何示意

通过相机与激光雷达进行联合标定,确定了点云坐标系与图像坐标系的映射关系,通过计算获得激光点云映射到图像坐标系中的坐标,点云直线的实际距离可用激光点云数据计算得出,台阶高度根据映射到图像中的点云直线距离与台阶边缘直线距离的比例关系计算,如图3所示。

2 试验结果与误差分析

在如图7所示无人平台上进行了测试,传感器系统包括Pointgrey FL3-GE-03S2C-C工业千兆以太网相机、Velodyne VLP—16三维激光雷达和NV-GI310组合惯导系统,搭载平台为中科院沈阳自动化研究所研发的“单人携带型”履腿复合式机器人。该系统中激光雷达共有16个激光束,垂直分辨率为0.2°,水平分辨率为0.1°~0.4°,最远探测距离为100 m并且能保证典型距离下误差在±3 cm以内。相机分辨率为640×480,镜头为焦距4 mm的工业低畸变镜头。组合惯导系统水平姿态精度保持在0.05°以内。对前文介绍过的试验楼梯进行了不同距离的场景下进行了测试。

图7 试验无人平台

当机器人正对楼梯,将提取出的直线根据斜率绝对值大小分为2组,各组结合斜率、相邻直线间距离等信息去除干扰直线并确定特征直线。挑选出与各直线对应的点云,根据各直线对应的点云在机器人坐标系中的坐标,即可计算出楼梯的宽度和深度。

学生在初中阶段已经开始接触物理知识,同时也形成了较为固定的学习方法,使得他们在学习高中物理课程时,依然运用初中的物理学习方法。这种先入为主的思维方式,可能会使学生的思维受到局限,从而阻碍新概念和新方法的形成。例如:在高中物理知识中有关于速度的内容,速度是强调方向与大小的矢量;然而初中阶段的速度更强调大小,从而使得很多学生在解决速度物理问题时,往往忽略方向问题,进而出现知识的遗漏或者错误。物理教师在教授课程内容时,要注意概念的解释以及思维的培养,让学生能够抛弃先入为主的错误方法,重新认识高中物理新知识。

图8 数据处理过程

表1 为机器人正对楼梯,在不同距离下的测试结果。

EZH2高表达组乳腺癌患者组织中miR-200c mRNA表达水平较EZH2低表达组明显降低,差异有统计学意义(P<0.05);转染siAFAP-EZH2后的乳腺癌细胞miR-200c mRNA表达水平明显高于control组和空白组(P<0.05)。见表3。

表1 不同距离下的结构参数测量结果及误差 m

机器人与楼梯距离扶手距离误差值台阶宽度误差值台阶高度误差值0.400.68500.01180.29780.01680.1471-0.01520.500.68080.00760.28910.00810.1469-0.01540.600.69460.02140.31320.03220.1448-0.01750.700.70490.03170.29440.01340.1434-0.01890.800.70370.03050.29010.00910.1436-0.01870.900.70340.03020.29530.01430.1432-0.01911.000.68880.01560.30300.02200.1414-0.02091.100.69790.02470.29780.01680.1424-0.01991.200.70880.03560.29960.01860.1405-0.02181.300.69590.02270.30680.02580.1419-0.0204平均值0.696380.023180.298710.017710.14352-0.01878

由于机器人自身结构问题,距离楼梯距离需大于等于0.4 m。可以看出,扶手距离平均误差为0.023 18 m,最大误差为0.035 6 m;台阶宽度平均误差为0.017 71 m,最大误差为0.032 2 m;台阶高度平均误差为0.018 78 m,最大误差为0.021 8 m。表中表明的扶手距离和台阶宽度的测量值普遍大于实际值(台阶宽度为0.281 0 m;台阶高度为0.162 3 m;楼梯扶手距离为0.673 2 m),而不是在实际值附近上下摆动,经分析认为是由楼梯模型平面度不够或激光雷达测量误差引起的,如图8(a)所示,点云图像提取出的边缘是一个包围住了特征直线的轮廓,在此基础上进行特征提取就只能在轮廓上进行,这必然会带来误差,误差的大小受模型平面度和激光测量误差影响;而台阶高度测量值则普遍小于实际值的情况,经分析,主要原因是模型中台阶边缘靠下约0.02 m处有一个由不同木板贴合出现的规则的直线边缘,造成了伪楼梯边缘的产生。

由于台阶高度、宽度精度在0.02 m左右,扶手距离精度在0.023 m左右,可以满足履腿复合式机器人自主攀爬楼梯需要的结构参数精度要求。

3 结 论

本文提出了一种基于视觉和激光传感器的楼梯目标检测与结构参数确定方法,能够可靠、快速地识别楼梯目标并获得楼梯的结构参数,为履带式机器人自主安全通过楼梯提供了有效参考。方法中结合传感器系统采用了将三维点云作为图像的处理方法,有一定创新性。

参考文献:

[1] Se S,Brady M.Vision-based detection of staircases[C]∥Proceedings of the Fourth Asian Conference on Computer Vision,Taipei:Springer,2000:535-540.

[2] Lu X,Manduchi R.Detection and localization of curbs and stairways using stereo vision[C]∥Proceedings of the 2005 IEEE International Conference on Robotics and Automation,Barcelona,Spain:IEEE,2005:4648-4654.

[3] 朱万彬,钟 俊,莫仁芸.激光位移传感器在角度测量中的应用[J].传感器与微系统,2010,29(6)131-133.

[4] 曹 鹏,尹文庆,吴林华,等.基于激光传感器的稻种轮廓形状测量方法研究[J].传感器与微系统,2017,36(3):29-32.

[5] Theeravithayangkura C,Takubo T,Mae Y,et al.Stair recognition of with laser range scanning by limb mechanism robot ‘ASTERISK’[C]∥Proceedings of IEEE International Conference on Robotics and biomimetics,Bangkok,Thailand:IEEE,2009:915-920.

[6] Oßwald S,Gutmann J S,Hornung A,et al.From 3D point clouds to climbing stairs: A comparision of plane segmentation approaches for humanoids[C]∥The 11th IEEE/RAS International Conference on Humanoid Robots,Bled,Slovenia:IEEE,2011:93-98.

李艳杰,刘宸,眭晋
《传感器与微系统》2018年第6期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号