更全的杂志信息网

基于单目摄像机的无人机视觉导航参量估计方法*

更新时间:2016-07-05

1 引言

随着无人机技术的快速发展,农用无人机已经成为现代新型智能化农业的重要组成部分,其在“精细农业”领域得到了深入的研究和应用[1-5]。特别是目前发展的无人农用直升机,因体积小、操作灵活、起飞方便等特点,近几年在现代农业系统应用广泛。例如,农药喷洒、施肥、遥感遥测、土壤墒情监测以及林业监测[6-10]等,因其具有普通地面机械设备无法替代的非侵入式操作优点,成为现代智能农业优先发展的技术之一。由于无人机作业的时空特性,目前的导航方法主要是基于全球定位系统 (Global Positioning System,GPS)的被动定位导航方法[11,12]和基于立体视觉技术的主动定位导航方法[13]。其中,基于GPS的的定位方法抗干扰性差,而且只能单一定位自身位姿参量,无法获取着陆地面的相关信息,在复杂的耕地环境很难精确、安全降落,容易失控 [14]。基于立体视觉技术的主动定位方法主要是利用摄像机获取的图像,并通过图像处理和位姿计算得到无人机的实时位姿参数。相比于传统的基于GPS的定位方法具有突出的优点:(1)抗干扰能力强;(2)可以求解无人机自身与着陆地面的相对参量信息,能够获取更加精确的导航参数;(3)能够提前规避飞行障碍,安全系数高,等。因此,基于立体视觉方法的导航技术近年来受到国内外研究人员的广泛关注。

2001年,美国加州大学伯克利分校的BEAR研究团队提出采用利用计算机立体视觉方法测量计算无人机导航的位姿信息[15],利用预先设定的特征点方法进行匹配,通过投影变换的方法获取位姿估计,特征点的选择限制了应用的灵活性;2006年,悉尼大学的Tsai等人提出基于预先标记的T型标记,利用平行线的方法获取无人机位姿状态进行定位和导航,但是特征点匹配计算复杂[16];2009年我国徐贵力等研究人员针对无人舰载机着陆导航问题,利用光导引头进行T型标定的方法实现了舰载无人机的全天候导航问题,但是只能满足水平飞行情况下的导航要求,适用范围较差[17]。2013年Laiacker等人[18]提出采用视觉检测方法获取导航参量引导无人机的自主着陆,能够全天候的实现着陆的精确导航,但是要求着陆地点必须有清晰的着陆引导线;同年,Kong W等人[19]提出采用地面安装红外立体视觉系统实现无人机的精确自主导航,但是当背景中出现温度较高的物体时,导航出现漂移;在文献[19]的基础上Yang G等人[20]融入了立体双目视觉导航的方法,实现了复杂环境的高精度导航,但是实现结构复杂,且多个摄像机和红外系统的同步很难标定;2014年德国的Konstantin S[21]等人利用4个摄像机进行双目融合导航,实现了高精度、鲁棒的立体视觉导航,但是利用重构信息的丢失问题严重,导致姿态信息丢失,同时,由于拍摄背景噪声的干扰导致图像同步配准误差较大,影响了导航和定位的精度[22]

针对现有研究中存在的问题,本文提出了一种单目摄像机立体视觉参量测量方法。该方法利用采集图像的时间和空间的连续性,建立测量参量的空间约束关系,利用同向点匹配的方法在连续采集的图像中计算相关参量,获取参量信息。实际的测试结构表明,该方法具有实现简单、定位精度高、易于应用等优点,为弄人无人机的高精确视觉定位和导航方法提出了一种有效的解决手段。

2 单目立体视觉模型

2.1 坐标系说明

为了建立相应的模型和计算约束条件,首先要给定实际的测试坐标和相机标定坐标之间的关系。具体的拍摄图像与相关坐标的关系如图1所示。其中,S1Sr表示无人机单目摄像机在不同时刻获取的图像中心,为便于描述,假设为任意时间和空间连续的两幅测量图像序列,针对给定的两幅连续图像,分别建立了图像坐标oxy、参考坐标S-XYZ和摄像机标定坐标S-xyz之间的关系,各个坐标的具体说明如下:

(1)图像坐标oxyo1x1y1orxryr为连续两幅图像的图像坐标,其中o表示图像坐标的原点,为摄像机的主光轴与拍摄图像的焦点所在,在图像边框平行的方向即为取定的x轴和y轴;

本文采用河南省1989年至2015年的有关数据,包含了河南省65岁及以上人口占总人口比重、河南省人口总数、人口自然增长率、老龄人口抚养系数、城镇人均可支配收入、城镇化率卫生机构数一共7个指标。

图1 坐标系说明

(3)摄像机标定坐标S-xyz:其坐标中心为摄影中心Sz轴为摄像机的主光轴,与其他两个坐标系的几何关系如图1所示,S1-x1y1z1Sr-xryrzr为拍摄两幅图像的时候,摄像机所在的坐标系。

图1中, ω1φ1κ1S1-x1y1z1相对于S1-X1Y1Z1的姿态角参量,ω2φ2κ2Sr-xryrzr相对于Sr-XrYrZr(或S1-X1Y1Z1)的参量。六个参量在坐标系中的旋转轴分别为X1Y1Z1XrYrZr。从图1中可以看出,由于参考坐标系S-XYZY1z1垂直,Z1旋转φ1角度后同z1重合,在旋转κ1的角度以后,使S1-x1y1z1S1-X1Y1Z1也出现重合,因此,为便于理论分析,在本文给定的图像坐标系中有ω1=0,基本文的标定计算只需要计算五个参量:φ1κ1ω2φ2κ2。传统多目摄像机标定过程中主要是采用六个参量,并且是依据一次递推参考的计算,如果一个计算出现了误差,后续的计算会出现较大的累积误差,导致测量精度降低。因此,本文将连续相邻的图像看作一个立体的整体进行建模分析,这样更有利于在三维空间的场景中进行几何约束关系的分析。同时,最大限度的降低各参量计算误差之间的干扰。另外,文献[23-24]的研究中指出,由于姿态角参量与旋转的顺序有关,不同的顺序对应的值不同,但是四元数描述方法具有唯一性。因此,本文参考[25]采用四元数作为参量的状态量进行建模分析和计算。

2.2 几何约束关系说明

根据图1表示的连续两帧图像的位置关系,将m1m2描述为目标点M在两幅图像的同名点,将S1m1Srmr称为同名光线对,因此,可以将参量的测量模型表示为

(1)

其中,

据不完全统计,有效的目标主要有三个因素,分别是:我要做什么;我想要做;我知道怎么做。这其实就是目标定位的合理性、个人主动性和目标的操作方法。明确这三个问题,目标达成的可能性将大大提升。

(2)

“宝剑锋从磨砺出,梅花香自苦寒来”。食品监管科先后被评为静海区“工人先锋号”先进集体、静海区市场监管局先进集体等多项荣誉称号,多名同志被评为市场监管系统优秀公务员、先进工作者。奉献食品安全监管事业,护航人民群众“舌尖上的安全”,是食品监管人的天职,也是他们共同的心声。

(3)

m1mr在参考坐标系中的坐标,m1mr在摄像机标定坐标系中的坐标,B表示S1Sr的距离,f表示摄像机的焦距;表示两幅图像相对参量信息的四元数q1qrR(qr)为相应的旋转矩阵[18]

3 参量的计算实现

3.1 模型线性近似修正

为了进行系数的计算,需要将模型参量同观测参量之间的模型处理成线性化的关系,因此,首先对B进行归一化处理,根据泰勒级数展开的方法,依次依据变量q10,q11,q12,q13,qr0,qr1,qr2,qr3进行截断展开,其误差可以计算为

v=a1dq10+a2dq11+a3dq12+a4dq13+a5dqr0+a6dqr1+a7dqr2+a8dqr3+F0

(4)

其中,F0=Y1Zr-YrZ1,根据图1所示的集合关系,具体的参量计算为:

a1=Zr(-2x1q13+2q10y1-2fq11)

-Yr(2x1q12+2q11y1-2fq10)

a2=Zr(2x1q12+2q11y1-2fq10)

-Yr(2x1q13+2q10y1+2fq11)

a3=Zr(2x1q11+2q12y1-2fq13)

-Yr(2x1q10+2q13y1+2fq12)

a4=Zr(-2x1q10-2q13y1-2fq12)

-Z1(-2xrqr0-2qr3yr-2fqr2)

熊耳群作为基底岩系的盖层,在区内出露面积较大,由一套中基性火山岩组成,自下而上分为许山组、鸡蛋坪组、马家河组三个岩组,与下伏太华群呈角度不整合接触。其中鸡蛋坪组为本区主要金矿赋存围岩。

a5=Y1(2xrqr2-2qr1yr-2fqr0)

-Z1(-2xrqr3+2qr0yr-2fqr1)

V=AX+F0

老陈居然没去注意我带去的那个纸盒,录音机正在播放《四郎探母》,音量似乎开到了最大。录音机的喇叭刺啦刺啦响,而老陈并不在意。于魁智的嗓音洪亮,行腔流畅,字字入耳。

a6=Y1(2xrqr3-2qr0yr+2fqr1)

迈蒙尼德在《迷途指津》中使用希伯来文的t elem(形象)一词,来论证YHVH不与受造物任何相似,非形体、非物质、绝对独一,没有任何偶性属性、没有任何本质属性的本质同一。与其相关的阿拉伯语是anam:

(2)参考坐标S-XYZS1-X1Y1Z1Sr-XrYrZr分别为两幅图像的参考坐标,其中,S1Sr为两幅图像的原点,S1Sr为图中的X轴,具体的坐标轴的位置和关系如图1中所示。

a8=Y1(2xrqr1+2qr2yr-2fqr3)

a7=Y1(2xrqr0+2qr3yr+2fqr2)

-Z1(2xrqr1+2qr2yr-2fqr3)

-Z1(2xrqr2-2qr1yr-2fqr0)

问题在于,无论“机运”(Fortuna)是世事沧桑的一个“象征符号”(Symbol)还是干预我们命运的反复无常的恶魔,无论携带镰刀的“死亡”(Death)是抽象概念还是真的能够敲门,都不可能有一个明确的答案。那些不得不去表现“正义”(Justice)的天真画家开始努力找出什么“看起来像(正义)”。毕竟,寓言画源于古典时代的宗教意象,其中可以被再现(be represented)的神话人物与可以象征化(be symbolized)的抽象概念之间,界限尤其难于界定。⑦

顾名思义,人生价值观是指关于人生价值的根本观点和看法,说到底就是对人生目的和人生意义的认识。人生价值观决定人生态度。而人生价值观又是由人生的理想和信念所决定。有了伟大的理想和信念才能树立正确的人生价值观。因此,我们论及方志敏的人生价值观,首先必须了解方志敏的人生理想和信念。

3.2 基于LMS的优化求解方法

为便于计算和分析可以将误差方程V表示成矩阵的形式为

农户小额信用贷款是基于农户信用发放的贷款,本身存在一定的信用风险。针对这种风险,应当适当建立风险补偿机制,建立贷款风险防范体系,为农户小额信用贷款构建起安全防护网。要通过以奖代补的方式,对达到涉农贷款标准的农村金融机构给予财政奖励,引导和激励农村金融机构加大涉农贷款,从而使奖励费用覆盖信贷中出现的风险[5]。

(5)

其中,A=(a1,...,a8),X=(dq10,...,dq13,),

d为修正数,q1qr为单位四元数,因ω1=0,则可以将V的约束条件表示为

里面还有一间屋,有卫生间,厨房。李大头喊:乔三喜,做饭。一个瘦小的身影从地铺上弹起来。我这才注意到,是一个很小的孩子,年龄在我之下。天暗下来,他打开灯,灯光照着,那是一张清秀的脸。他把手机塞进裤兜就去做饭。他焖米饭,洗菜。菜是白菜和土豆。他干得很在行,轻车熟路,看来在这儿不只一天两天。

(6)

(7)

其中

(8)

将式(6)写成矩阵形式则有

CX+W=0

(9)

假设在实际的匹配过程中采用了当前观测值的n对同名点,则可以将整体的平均误差方程表示为

(10)

其中,VF0n×1维矩阵;An×8维数矩阵。现有的研究中多数是直接采用最小二乘(LS)算法对方程直接求解如下:

-Yr(2x1q11+2q12y1-2fq13)

Y=-N-1WY

(11)

其中,根据2.1节的分析可知,N为11×11维矩阵。YWY均为11×1维矩阵,K为过渡性数值[26],其维数为3×1维。当选取的同名点数量n≥5时,给定q1qr的初始值,然后求解式(3)描述的相对定向元素的改正数d,在根据(10)逐步迭代,求出最优参量,直道满足终止条件。由于LS方法是对采集数据集合的块状处理,因此对噪声过于敏感。但是,实际应用中无人机容易受到光线、机械旋翼抖动等噪声因素的影响,为降低噪声的干扰,本文将利用LS获取的式(9)的值作为参量的初始条件,然后利用最小均方(Least Mean Square,LMS)算法对参量进一步优化,计算为

Y(n+1)=Y(n)-μ(n)V

(12)

其中,μ(n)为步长参量(学习率),其决定了收敛速率和学习稳定性,VV的一个关于Y的一个列梯度矢量,计算为

(13)

4 实验及结果分析

4.1 实验平台说明

实验中采用江苏数字鹰科技发展有限公司提供的数字鹰YM-6140植保无人机,其中安装的单目摄像机为北京微视新纪元科技有限公司提供的视频图像采集盒子,如图2a所示。控制分析实验在AMDA 10-6700 APU/ Radeon (tm)HD/Graphics 3.70 GHz处理器、4.00 GB内存的PC机上进行,如图2(b)所示。为获取图像分析信息,首先基于飞控系统设置预先设置一组真实飞行位姿数据,无人机按照真实飞行位姿数据飞行过程中拍摄视频作为导航算法所用的视频。

(2)运用多种多媒体手段。如课程目标“铁碳合金相图及典型铁碳合金的平衡结晶过程”中,加热过程奥氏体化过程与冷却过程珠光体的形成等,在语言描述的同时,运用视频演示,给学生更直观的印象。运用微课和网络教学等,更好地促进学生对理论的理解,能获得较好的教学效果。

a 安装单目摄像头的无人机载体 b参量控制分析平台 图2 实验测试平台

其中图3显示了初步的控制软件分析界面数据,图3a为起飞标定的初始化界面,图图3b为标定成功以后的数据界面。实验中相关参量如表1所示,参量计算步长μ(n)=0.05。

护理临床带教作为护理教学中的重要部分,其教学质量直接影响着工作人员业务水平及医院医疗质量[1]。目前,护理人员学历包括大专、本科等,不论学历高低,其均承担相同的工作任务,未考虑其能力、学历差异,这极易影响其工作积极性,尤其是高学历者。文章旨在分析分层次教学目标管理模式应用于护理临床带教中的效果。

a标定初始化 b标定成功 图3 控制平台显示数据信息

表1 参量设置

参数大棚区麦苗区焦距/mm34.4238.42分辨率/pixle4307×36556613×4754像元大小/mm0.0060.006匹配点数2424

3.2 导航精度分析

实验中分别针对大棚区和麦田区两个不同环境的成像效果进行了相关参量的测量分析在两个场景计算过程中,参量初始化的值均为零。首先,针对本文方法的有效性进行了分析估计实验,具体的测量结果如表2和表3所示,为了降低噪声干扰,分析中采用100 次加权平均,并将100次运行的加权时间作为运行效率度量指标。表2给出了单次采集图像的参量计算结果,可以看出,本文方法计算的时间为0.018 3秒,满足无人机作业实时性的需求。表3给出了持续6秒的平均估计值,可以看出参量计算的平均误差均小于0.5像素,估计精度满足导航定位精度的需求,而且各个参量估计的平均误差也都在误差容许的范围内。

表2 单次量测计算结果

参数工作区域φ1/(o)1.5937κ1/(o)-0.1856φ2/(o)1.7834ω2/(o)-0.1667κ2/(o)-1.2487计算时间/s0.0183

表3 多次量测平均值

参数大棚区平均误差/pixel0.44φ1/(o)0.01344κ1/(o)0.03197φ2/(o)0.013465ω2/(o)0.00721κ2/(o)0.03439

3.3 抗背景噪声干扰能力分析

匹配点量测误差是影响测量精度的主要因素[25],因此度量一种方法的优劣需要考虑实际测量噪声的影响,传统的LS算法由于是基于块状数据的集中处理,无法消除测量噪声干扰,为了度量本文计算方法的抗干扰能力,实验中利用降低单目摄像机光圈焦距降低的方法进行抗噪声性能分析。背景噪声干扰主要导致获取图像的模糊,表现在实际获取的图像就是像素精度降低,为了便于认为控制,进行研究分析,本文实验中采用偏离精确对准后的焦距降低的方法,利用光圈在精确调焦后回转的圈数来度量噪声干扰的强度。回转圈数越大、获取的图像越模糊,噪声干扰特性就越强,获取的参量误差曲线如图4所示,从图中可以看出,随着回退圈数的增加,获取的图像噪声增加,传统LS类算法误差逐渐增加,而本文方法整体上保持了较低的误差。

图4 抗噪声干扰测试曲线

4 结论

针对农用无人机立体视觉导航姿态参量的测量问题,本文提出了一种单目摄像机的鲁棒测量方法。主要的创新性工作体现在以下两个方面:

(1)有效利用了单目摄像机拍摄图像的时空相关性建立测量参数的计算模型,推导了测量参量同坐标参量的相互关系,并给出了参数方程的近似估计,避免了传统多目摄像机图像存在的同步对准问题;

由于各地经济、社会和教育发展环境不一样,校内托管模式也呈现多样化发展态势。如南京市实行弹性离校,广州实行延迟放学,青岛实行家委会主导、学校参与配合的托管模式等。其中,武汉模式具有一定的代表性。2014年6月发布的《武汉市教育局关于进一步规范全市小学生托管服务工作的通知》,通知明确:全市有托管条件的小学,按照“学生自愿,家长委托,规范管理,安全第一,成本收费”的原则,在中午和下午放学后提供托管服务。参加托管服务的学生收费标准为每月80元(每天托管4小时)、每月60元(每天托管3小时)。

(2)采用最小均方算法在传统一步计算结果的基础上进行迭代优化计算,有效提升了计算过程的抗干扰能力。

实验结果表明,本文方法保持了较高的计算精度和抗干扰能力,基于仿真情况下,在两种测试环境的平均误差均控制在1%以内,在实际的测试环境中,本文方法的误差始终保持在2个像素以内显示了较好的鲁棒性,是一种有效的参数定位估计方法。虽然本文方法一定程度上提升了立体视觉导航的灵活性和实用性,但是本文方法在进行同名点的标注过程中没有考虑到匹配点的几何约束性,导致这些匹配点的容易丢失。因此,在下一步的研究中,将考虑实际导航过程中存在的角点和直线等几何约束特征,进一步提升系统的测量精度。

参考文献

[1] 汪沛,胡炼,周志艳,等. 无人油动力直升机用于水稻制种辅助授粉的田间风场测量[J]. 农业工程学报, 2013, 29(3):54-61.

[2] 陈天华,卢思翰. 基于DSP的小型农用无人机导航控制系统设计[J]. 农业工程学报, 2012, 28(21):164-169.

[3] 陈天华,郭培源. 小型无人机自主飞行控制系统的实现[J]. 航天控制, 2006, 24(6):86-90.

[4] 邓红德,李兴岷,王亮. 超视距遥控无人机飞行控制台设计与实现[J]. 计算机测量与控制, 2011, 19(11):2702-2704.

[5] 李耀明,徐立章,向忠平. 日本水稻种植机械化技术的最新研究进展[J]. 农业工程学报, 2005, 21(11):182-185.

[6] 朱家强,郭锁凤,朱纪洪,等. 战斗机非线性控制技术的研究与发展[J]. 航空学报, 2005, 26(6):720-725.

[7] SINOPOLI B, MICHELI M, DONATO G et al. Vision based navigation for an unmanned aerial vehicle[C]. IEEE International Conference on Robotics and Automation, 2011:1757-1764.

[8] REMONDINO F, BARAZZETTI L, NEX F, et al. UAV photogrammetry for mapping and 3D modeling-current status and future perspectives[J]. International Archives of the Photogrammetry Remote Sensing and Spatial Information Sciences, 2011, 38(1):25-31.

[9] JI Z W, ZONG J L, CHENG M L. Reconstruction of buildings from a single UAV image[C]. Proceedings of International Society for Photogrammetry and Remote Sensing Congress, 2004:100-103.

[10] GINI R, PASSONI D, PINTO L, et al. Aerial images from an UAV system: 3D modeling and tree species classification in a park area[C]. International Archives of the Photogrammetry Remote Sensing and Spatial Information Sciences XXII ISPRS Congress Melbourne, 2012:361-366.

[11] NEX F, REMONDION F. UAV for 3D mapping applications: a review[J]. Applied Geomatics, 2013, 35(3):1-15.

[12] EISENBEISS H. A mini Unmanned Aerial Vehicle(UAV): system overview and image acquisition[J]. International Archives ofPhotogrammetry. Remote Sensing and Spatial Information Sciences, 2004, 36(5):102-108.

[13] CUI J Q, LAI S, DONG X, et al. Autonomous navigation of UAV in forest[C]. International Conference on Unmanned Aircraft Systems (ICUAS), 2014:726-733.

[14] 杨海燕,汤国建. 立体视觉系统的目标可见性及测量精度分析[J]. 系统工程与电子技术, 2012, 34(9):1889-1894..

[15] SHARP C S, SHAKERNIA O, SHANKAR SASTRY S. A vision system for landing an Unmanned Aerial Vehicle[C]. IEEE International Conference on Robotics and Automation(ICRA), 2001, 2:1720-1727.

[16] TSAI A C, GIBBENS P W, STONE R H. Advances in Image and Video Technology[M]. Berlin Heidelberg: Springer, 2006:672-681.

[17] Xu G L, Zhang Y, Ji S Y, et al. Research on computer vision-based for UAV autonomous landing on a ship[J]. Pattern Recognition Letters, 2009, 30(6): 600-605.

[18] Laiacker M, Kondak K, Schwarzbach M, et al. Vision aided automatic landing system for fixed wing UAV[C]. Intelligent Robots and Systems(IROS), RSJ International Conference on, 2013:2971-2976.

[19] Kong W, Zhang D, Wang X, et al. Autonomous landing of an UAV with a ground-based actuated infrared stereovision system[C]. Intelligent Robots and Systems(IROS), 2013 IEEE/ RSJ International Conference on, 2013, 11(3):2963-2970.

[20] Gui Y, Guo P Y, Zhang H L, et al. Airborne vision-based navigation method for UAV accuracy landing using infrared lamps [J]. Journal of Intelligent & Robotic Systems, 2013, 72(2): 197-218.

[21] Schauwecker K, Zell A. On-Board Dual-Stereo-Vision for the Navigation of an Autonomous MAV [J]. Journal of Intelligent & Robotic Systems, 2014, 74(1-2):1-16.

[22] 王亮,康凤举,邓红德,等. 基于视觉的无人机着陆半物理仿真系统的应用[J]. 系统工程与电子技术, 2012, 34(7):1511-1517.

[23] CHANG L, HU B, CHEN S, et al. Comments on quaternion- based method for SINS/SAR integrated navigation system[J]. IEEE Transaction on Aerospace and Electronic Systems, 2013, 49(2):1400- 1402.

[24] WU S, WU G, TAN S, et al. Quaternion-based adaptive terminal sliding mode control for spacecraft attitude tracking[C]. The 10th IEEE International Conference on Control and Automation (ICCA), 2013:913-917.

[25] XU D, MANDIC D P. The theory of quaternion matrix derivatives[J]. IEEE Transaction on Signal Processing, 2015, 63(6):1453- 1556.

[26] 展封江,沈宏海,汪沛,等. 导航信息之后补偿实现高速无人机对地精确定位[J].光学精密工程, 2015, 23(9):2506-2512.

姜德晶,孙涛,曾勇,秦录芳
《电视技术》 2018年第03期
《电视技术》2018年第03期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号