更全的杂志信息网

利用本质矩阵进行低空无人机影像位姿恢复的研究

更新时间:2016-07-05

恢复影像的外方位元素是摄影测量技术中尤为关键的一步[1],进行经典的连续像对相对定向时,需明确影像的航带信息及影像基线方向(通常为影像列方向),并给定定向元素的初始值(通常为0),根据共面条件利用最小二乘原理迭代求解未知数[1-2]。国外的Helava系统、Image Station系统和Inpho系统,国内的PixelGrid系统、VirtuoZo系统、JX-4系统等,都是采用传统摄影测量理论的空三加密软件。近些年,因无人机机动性高、数据采集便捷和容易转场等优点,无人机摄影测量已成为当前摄影测量的重要方式之一[3],但由于无人机质量轻、体积小、携带非量测数码相机,相机镜头的安置方式发生变换,导致航空影像姿态角度大、基线方向不再是影像列方向,传统的连续像对相对定向不再满足这类影像的处理要求。近些年兴起的计算机视觉相关技术,引起了摄影测量领域诸多学者的广泛关注[4-5],与传统摄影测量方法不同,计算机视觉方法只需影像间的匹配点对就可恢复单像对的相对运动,进而恢复多张影像的位姿,如当前广泛使用的Agisoft PhotoScan、Pix4Dmapper、Smart3DCapture等软件就是利用计算机视觉技术恢复互联网图片、手机照片及无POS数据的航空影像位姿的方法进行三维重建的。但计算机视觉方法仍存在一些缺陷,尤其是渐进式重建算法(incremental structure from motion)[6-8],对初始像对的选取要求高,最佳的添加影像难以确定,计算复杂度大,当相机轨迹过长时会由于误差累积导致重建几何变形。但传统摄影测量方法不存在该问题,因此本文将计算机视觉中的本质矩阵与经典的连续像对相对定向相结合来处理低空无人机影像。该方法在避免计算机视觉方法缺陷的同时,能够快速确定基线方向,并且恢复影像外方位元素。

1 基于本质矩阵的无人机影像位姿恢复

1.1 本质矩阵恢复相机位姿

对极几何(epipolar geometry)反映了三维空间中同一物体两幅不同影像间内在的射影关系,独立于景物场景结构,只依赖于相机的内参数和相对运动[9-11]。如图1所示,影像AB分别表示以OO′为摄影中心的空间中三维点M的两幅图像,xx′为投影点。左片投影点x反向投影在空间中形成一条射线,由摄影中心O和点x确定,投影到x的空间点M必然落在该射线上,其在B中被映射成一条直线l′,因此MB上的投影点x′必然落在l′上。

图1 对极几何

本质矩阵E是对极几何的表达形式,假设R为左相机到右相机的旋转矩阵,t为两个相机间的平移量,根据共面条件,可推出本质矩阵E的表达式为

E=[t×]R

(1)

式中,[t×]为反对称矩阵。E可由5对归一化图像坐标直接计算[12-13],但影像对的匹配点中通常含有误匹配,因此估计E时需采用RANSAC算法[14-16]逐步剔除粗差点,取得最优模型。估计到E后,对其进行奇异值分解,并且通过空间点同时在两个相机前方交会的方法消除模糊解,就可以恢复两幅影像的相对运动(相差一个尺度因子)。

1.2 基于本质矩阵的连续像对相对定向

相对定向的目的是恢复摄影时相邻两个摄影中心的相对位置关系[1]。本文以本质矩阵恢复单像对相对位姿为基础,结合传统摄影测量方法恢复低空无人机影像的外方位元素,具体步骤如下:

[1] 张祖勋.数字摄影测量与计算机视觉[J].武汉大学学报(信息科学版),2004,29(12):1035-1039.

(1) 相对定向。用本质矩阵恢复两幅影像旋转矩阵Rcv和平移量tcv。计算机视觉与摄影测量采用的坐标系分别为左右手坐标系,两个坐标系中平移量的关系为

(2)

将以上平移量的值作为经典连续像对相对定向线元素的初始值,角元素(φ,ω,κ)初始值均设为0,根据共面方程利用最小二乘原理趋近求解定向元素。

(3)

给影像基线分量By赋定值,其余分量BxBz按照比值赋值为

综上,本研究发现CYP2C19基因多态性与老年人脑梗死患病风险增加有关,有待今后进行大样本、多中心和前瞻性研究进一步验证。

(4)

式中,tp为摄影测量坐标系中的平移量;tpxtpytpztp的3个分量Rcv的转置;tcvxtcvytcvztcv的3个分量。假设tp的3个分量中tpy的值最大,则影像基线方向为y方向,其余分量与基线分量的比值分别为kxykzy,计算公式为

德公公随后简明扼要向李陆峰转述老八的收获,自信地道:“小孩子?赛过包公?这只是表象。小孩子有这般能耐?不过是自作聪明者,乔装打扮而已。”

(2) 构建自由区域网。每一像对进行相对定向后,各模型间相差一个缩放因子,故需用公共点在相邻模型间的点位,同样计算后一模型相对于前一模型的比例因子,进行模型连接,并且通过空间前方交会计算同名点的三维坐标,完成自由比例尺单航带网的构建。单航带网构建完成后,每个航带的坐标系是独立的,要构建区域网需统一各航带模型[17]。相邻航带的公共点满足如下关系

同一年,湛江农垦被列入广东省人大水库移民议案资金扶持范围,此后,水库移民扶持政策在红湖逐步落实。目前,农场职工住房已达3000多栋,其中95%是两层以上的砖混楼房,职工居住环境面积大大改善。

(5)

式中,ΔX、ΔY、ΔZ为3个平移量;λ为缩放系数;分别为公共点在相邻航带中的坐标;aibici为角元素φωκ组成的方向余弦。有多条航带时,首先完成航带2模型到航带1模型的转换,然后用转换后的航带2与航带3的公共点完成航带3模型的转换。以此类推,直到将所有航带模型都统一到航带1的模型中。最后用光束法平差优化影像的内外方位元素与点的三维坐标,完成自由区域网的构建。

2 试验与分析

2.1 试验数据

[2] 张力,艾海滨,许彪,等.基于多视影像匹配模型的倾斜航空影像自动连接点提取及区域网平差方法[J].测绘学报,2017,46(5):554-564.

免费医学生也称农村订单式定向医学生,根据国家发展和改革委员会、原卫生部、教育部等部门在2010 年印发《关于印发开展农村订单定向医学生免费培养工作实施意见的通知》,免费医学生在入学前必须与培养学校和当地县级卫生行政部门签署定向就业协议,毕业后需要到相应的基层医疗机构服务满6年,入学后免收学费、住宿费并有一定的生活补助。而普通医学生毕业后需要进行双向选择就业,在校期间也没有相应的助学金政策[3]。

目前,我国还没有搭建起完整的数据中心能效指标规范及标准,本文考虑了电网企业数据中心通常与办公大楼合建的特点,采用了优化的测量计算方法,相对于国内一般的计算方法来说更为准确,更贴近于国际通用的数据中心能效定义,更能真实地反映电网企业数据中心的能效水平,更便于其他行业的数据中心进行比较。

图2 影像数据集

表1 影像信息及部分相机参数

试验区域影像数/幅像幅尺寸/像素像主点/mmwhx0y0相机焦距/mm像元尺寸/mm嫩江区域74736049120.01710.104655.36250.00488四川区域52374456160035.48810.0064

为验证结果精度,本文使用物方点在影像上的重投影点与量测点之间的距离平方和评判算法的结果精度,并将本文算法得到的精度与用计算机视觉技术中的Sfm算法精度进行比较。重投影误差计算公式为

(6)

式中,n为连接点的个数为重投影与量测点距离的平方;RMS为平均重投影误差,其值越小表示结果精度越高。

2.2 结果与分析

[3] 王湘文,于启升,王雅鹏.无人机低空摄影测量系统在大比例尺地形图中的应用[J].地矿测绘,2013,29(1):34-36.

表2 嫩江影像数据集中部分影像位姿

影像名称本质矩阵恢复相对位姿本文定向方法恢复全局位姿txtytzxyzφωκ0714AR11012.JPG………6077.7112126.8-341.690.0080-0.0588-0.04220714AR11013.JPG-0.36500.9306-0.02686603.7513090.9-410.510.0350-0.0545-0.11700714AR11014.JPG-0.41350.9098-0.03637181.6414085.1-470.090.0950-0.0715-0.07870714AR11015.JPG-0.44330.8956-0.03587693.2815059.7-556.910.0905-0.0989-0.0183

试验结果精度见表4,从中可以看出,用本文所提方法恢复两个影像集的外方位元素得到的重投影误差分别为0.432和0.205 7个像素,都在1个像素以内。而用Sfm算法得到的精度都在3个像素以上。经典的连续像对相对定向是一个在给定定向元素初始值的基础上逐步趋近求解的过程,有较好的初始值,就会快速收敛于正确值。本文根据本质矩阵得到像对的相对平移量分量之间的关系给定连续相对定向线元素的初始值,初始值较接近于最终值,故可得到较好的精度。而且本文方法的后续处理类似于传统摄影测量将非线性等式化为线性等式,利用最小二乘原理求解,可得到精确稳定的结果。Sfm算法是基于非线性等式,采用RANSAC方法选取适当的代价函数,进行矩阵分解,结果依赖于初始特征点分布及其匹配的质量,并且试验中Sfm算法所用的相机参数是从影像的EXIF信息中提取的概略值,故本文方法的精度高于Sfm算法的精度。

表3 四川影像数据集中部分影像位姿

影像名称本质矩阵恢复相对位姿本文定向方法恢复全局位姿txtytzxyzφωκIMG_0173.tif………11854.7485.316-1493.2-0.0789-0.05430.0067IMG_0174.tif0.99990.00150.009712997.5494.981-1606.2-0.08760.09700.0218IMG_0175.tif0.98380.01120.178914009.2536.279-1815.6-0.02770.08690.0307IMG_0176.tif0.9881-0.05920.141614992.5613.747-1936.50.01860.01900.0221

表4 试验结果精度

试验区域试验方法计算机视觉技术Sfm算法本文算法平均重投影误差/像素最大重投影误差/像素平均重投影误差/像素最大重投影误差/像素嫩江影像3.873460.57350.02258.3638四川影像3.504639.34770.02789.0311

图3为空间前方交会得到的稀疏三维点云。

图3 影像重建结果

3 结 语

[6] SCHONBERGER J L,FRAHM J M.Structure-from-motion Revisited[C]∥Proceedings of the CVPR.[S.l.]:CVPR,2016.

参考文献

一是水资源总量的约束日趋突出。我国目前的年用水总量已经突破6 000亿m3,约占水资源可开发利用量的74%。前面已谈到,很多地方水资源的形势十分严峻,水资源过度开发,已经接近或者突破水资源可以支撑的限度,如果不采取强有力的刚性措施,就难以扭转水资源严重短缺和日益加剧的被动局面。

(2)政策建议。依据中性预测情景并且结合乐观预测情景,依据上述防范新时代上海市住房金融风险的政策目标,在确保现有住房调控政策不变基础上,笔者提出以下三点建议:

为验证本文定向方法的有效性,采用以下两组影像数据集进行试验。影像集一为嫩江影像,该影像由Sony ILCE-7R(相机参数可见表1)于2013年3月24日采集,取其中74张影像作试验,影像航向重叠度约为85%,旁向重叠度约为90%,飞行高度约为220 m。影像集二为四川影像数据(相机参数见表1),该影像共有52张影像,航向重叠度约为75%,旁向重叠度约为40%。部分影像如图2所示。

嫩江影像集与四川影像集中部分影像的相对外方位元素分别见表2和表3,包括用本质矩阵恢复的相对平移量和用本文定向算法恢复的外方位元素。从表2中本质矩阵恢复的单像对相对运动结果得到嫩江影像的基线方向为y方向,x方向和z方向分量与基线的比值分别约为0.425和0.083;同样从表3中得到四川影像的基线方向为x方向,y方向和z方向分量与基线的比值分别约为0.032 8和0.082;将上述数据按照1.2节所述进行处理可成功定向并得到自由区域网,证明从相对平移量确定的影像基线是正确的。因为从本质矩阵分解得到的单像对的相对运动,在相差一个尺度因子的情况下,平移量的3个分量可表示右相机相对于左相机在3个坐标轴上的平移,故可从平移量的分量值快速确定影像基线方向。

[4] 孙敏.多视几何与传统摄影测量理论[J].北京大学学报(自然科学版),2007,43(4):453-459.

[5] 张祖勋.数字摄影测量与计算机视觉[C]∥全国数字近景摄影测量学术研讨会.[S.l.]:武汉,2004.

为了能够快速确定影像的基线方向,恢复低空无人机影像的外方位元素,本文以计算机视觉中的相对定向为基础,与经典的摄影测量结合恢复影像位姿。试验证明,该方法能够快速确定影像的基线方向,恢复影像的外方位元素,得到三维点云,而且在精度上,重投影误差在1个像素以内。本文算法初步尝试将计算机视觉技术与传统摄影测量技术相结合,顾及航空影像的有序性和结构性特点,结合计算机视觉中定向算法的通用性,能够利用上述算法较好地估计影像的位姿参数。但是对于各类型影像的稳健性还有待提高,大规模影像数据的定向试验有待进一步研究。

[7] SCONBERGER J L,FRAUNDORFER F,FRAHM J M.Structure-from-motion for MAV Image Sequence Analysis with Photogrammetric Applications[J].International Archives of the Photogrammetry Remote Sensing & S,2014,XL-3(3):305-312.

Application of a bias correction scheme for 2-meter temperature levels over complex terrain

[8] WU C.Towards Linear-time Incremental Structure from Motion[C]∥International Conference on 3dtv-Conference.[S.l.]:IEEE,2013:127-134.

[9] ZISSERMAN A.Multiple View Geometry in Computer Vision[J].Kybernetes,2003,30(910):1865-1872.

[10] FO W,WROBEL B P.Photogrammetric Computer Vision[M].[S.l.]:Springer International Publishing,2016.

雕塑的动态是指被封闭在雕塑造型中的动态幻觉,是通过造型的结构、趋势、节奏、秩序等形态的张力串联、制造出一种视觉上的运动感受。

[11] 陈登,林卉,苏天路,等.多视几何理论辅助的无人机低空摄影测量空三加密[J].测绘通报,2017(6):26-30.

柔性直流输电系统启动阶段模块间不均压问题分析//赵洋洋,李坤,董朝阳,吉攀攀,俎立峰,马俊杰//(24):92

[12] DAVID R.An Efficient Solution to the Five-point Relative Pose Problem[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2004,26(6):756-770.

[13] 王文斌,刘桂华,刘先勇,等.本质矩阵五点算法伪解的两种剔除策略[J].光电工程,2010,37(8):46-52.

[14] MOISAN L,MOULON P,MONASSE P.Fundamental Matrix of a Stereo Pair,with a Contrario Elimination of Outliers[J].Image Processing on Line,2016,6(6):89-113.

[15] 甄艳,刘学军,王美珍.一种改进RANSAC的基础矩阵方法[J].测绘通报,2014(4):39-43.

[16] MOISAN L,MOULON P,MONASSE P.Automatic Homographic Registration of a Pair of Images,with a Contrario Elimination of Outliers[J].Image Processing on Line,2012,2(5):56-73.

[17] 王解先.七参数转换中参数之间的相关性[J].大地测量与地球动力学,2007,27(2):43-46.

张晶晶,吴良才,艾海滨,许彪,赵栋梁
《测绘通报》 2018年第4期
《测绘通报》2018年第4期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号