广角摄像机标定及畸变图像修正方法研究∗
1 引言
在工程应用中,光学跟踪测量是一种获取实验信息的重要手段,具有客观、非接触、高精度和优于无线电测量抗干扰能力等诸多优势。广泛应用的广角镜头、鱼眼镜头等,在镜头设计上就采取了曲面成像技术,这导致光学畸变更加显著,造成图像中的目标尺寸及外形比例都发生了较大改变。目前,为获取大视角图像信息,在工程实验中已经开始利用无人机搭载广角摄像机监控敏感区域,对广角畸变图像修正已成为急需解决的课题。
2 摄像机标定方法
摄像机标定指的是建立摄像机图像点位置和三维空间实际点位置之间的关系摄像机模型,通过已知的特征点图像坐标与摄像机坐标来计算摄像机模型参数,这是进行光学畸变修正[1]的基础。
随着市场经济的快速发展,我国的经济建设也获得了很大的成就。目前市场的竞争越来越大,市场机制也在努力的进行变革,有很多新的市场营销模式得以开展,这样的形式更给企业带来了有力的竞争与挑战。现阶段,虽然很多企业都开始重视经济管理的模式,但是基于市场营销模式下,我国的企业的经济管理还是存在着各种各样的问题,这需要企业采取措施,进行解决。
2.1 单目摄像机模型
依据光学成像原理,建立摄像机光学成像模型的坐标系关系(见图1),以光轴中心O为坐标系原点,z轴满足右手法则。成像原点Of所代表平面为像平面坐标系(实际应用中,以图像左上角为坐标系原点),实际物体坐标系即为世界坐标系[2]。
张总说,工作应该是愉快的,这样的设计也是一次尝试,希望能够提升仓储物流企业员工在工作时的愉悦感,进而加深员工工作积极性,为企业创造活力;同样,这也是提升中国产品在世界舞台独特性的一次积极尝试,未来随着中鼎集成在全球范围内的布局,这样的独特性也有助于提升中鼎集成在世界舞台的品牌价值,让中鼎集成在智能装备的道路上走的更加广阔和深远,向着世界级的物流设备制造商进发。
联立式(1)和式(3),得到式(4)即为摄像机坐标系与像平面坐标系变换的矩阵。
图1 单目摄像机模型的三坐标系统关系
2.2 摄像机内参数求解
对于从摄像机坐标系到像平面坐标系的变换,像平面坐标系是用像素单位来表示的,而摄像机坐标系则是以毫米为单位来表示,因此,要完成改变换过程就需要先得到像平面的像素单位与毫米单位之间的线性关系。在图1中,摄像机光轴中心z轴方向上与像平面的交点O′称为投影中心或主点位置,坐标为(cx,cy),是像素单位,而每个像素在Xf和Yf的物理尺寸为,单位是像素/毫米,则像平面的像素与毫米间的线性关系如式(1):
根据小孔模型下投影变换原理,像平面的物理坐标(x,y)对应的摄像机坐标系满足式(2):
其对应的矩阵形式为式(3):
其中,P在世界坐标系的值为Pu是P在像平面坐标系的投影点,其摄像机坐标系的值为(Xu,Yu,Zu)。θ是摄像机坐标系Z轴与像平面夹角,一般情况下Z轴与像平面垂直,θ值为90°。且摄像机坐标系xOy与像平面xfOfyf平行,f为摄像机的焦距。
其中:(x,y)坐标是广角镜头图像畸变像素点在摄像机图像平面的原始坐标位置,为经过图像畸变校正后的新坐标位置。 p1与 p2为描述广角摄像头切向畸变程度的待定系数。
3 畸变修正模型
在广角镜头的图像畸变中,通常考虑两种畸变类型:径向畸变、切向畸变[3~4]。这两种畸变的产生原因和对图像几何变形的影响程度也各不相同。图像畸变效果如图 2所示[5~6]。
1)煤层产状变化系数。通过煤层倾角的变化程度反映,该系数定义为循环进尺内煤层的倾角变化量,即式(3):
图2 畸变效果图径向畸变模型
其中(x,y)为畸变点在图像上的原始坐标,(xtangential,ytangential)为图像校正后的坐标,称为镜头的径向畸变系数。对于精度较高的工业摄像机,一般只需要计算前两项k1、k2;对于广角或者广角摄像机,要求计算 k1、k2、k3。
广角镜头的切向畸变产生原因在于镜头系统的组装过程,广角镜头的组装往往不能够保证镜头的光心与镜头的几何中心相重合。广角镜头的切向畸变数学模型[8]如下:
径向畸变就是指图像点与真实点在半径方向上产生的变形。镜头径向畸变在诸多畸变类型中是最为主要的。通常将广角镜头的径向畸变[7]数学模型表示如下:
这是一个美好的机缘,这是一次幸福的走访。在“走进广州好教育”系列丛书编写过程中,我们走进了中小学校,走进了广州好教育。
其中,即为摄像机的6个内参数,其组成的矩阵即为内参矩阵。
4 畸变修正效果分析
4.1 实验摄像机参数标定
本次待标定的摄像机型号为GoproHERO4(见图3),采用广角镜头,设定摄影参数见表1。
本次采用标定板进行实验室标定,标定板尺寸为320(mm)×300(mm),即16行15列240个20mm的正方形方格组成。对于摄像机采集的图像,位姿越多,标定结果也会越精确,考虑到计算效率与精度,建议在20组~30组之间。将标定图像加载到标定系统中,计算摄像机的内参数和畸变系数[9~10]。
青年教师是学校发展的后备力量,青年教师的专业发展决定着学校的可持续发展,这已经引起了学校的足够重视,具体表现在为青年教师搭建了一系列的平台和舞台,比如师徒结对、课例打磨、校本教研、外出学习等.然而,这一切都是基于外部力量的青年教师的被动成长,缺少青年教师对自己专业成长路径的自主规划和系统梳理,本文在具体实践的基础上,试图从初中青年数学教师的视角,借助“教科研+”的主要阵地,自主开展专业论文写作为切入点,简单谈几点体会,不当之处,敬请指正.
图3 Gopro HERO4摄像机
表1 GoproHERO4摄像机参数表
项目摄录载荷技术指标拍摄最大分辨率:1920×1080最大视场角:118.2°×69.5°摄摄像机焦距:14mm输出接口:1路HDMI
在实验室中,使用Gopro HERO4摄像机从不同角度拍摄标定板,得到标定分析所用的一组图像(见图4,共计24张),按照标定方法进行分析计算,得到摄像机内参数和畸变系数(见表2)。
今年,宝格丽重磅推出新款SerpentiTubogas腕表,融合白金、玫瑰金和黄金经典色彩。这款时计以现代风范重新演绎1960年代推出的三色金腕表经典作品,满足宝格丽拥趸期盼已久的心愿。1960年代,三色金腕表经典之作诞生,奠定了后来灵蛇在宝格丽作品中成为推崇备至的主题。而Tubogas亦成为宝格丽经典制表工艺。自此,灵蛇不断唤起世人心中对美的诉求,而巧妙运用稀有三色金呈现出对比视觉效果的Tubogas时计备受推崇,引领时代风尚潮流。
图4 Gopro HERO4拍摄的标定板图像
表2 Gopro HERO4摄像机标定结果
项目标定结果类别内参数畸变系数参数x方向等效焦距 fx y方向等效焦距 fy x方向主点位置cx y方向主点位置cy径向畸变参数k1径向畸变参数k2径向畸变参数k3切向畸变参数p1切向畸变参数p2结果894.605712891 893.682434082 970.976867676 540.894042969-0.2476638108490 0.05476881563660-0.01327039324680 0.00317070889287 0.000102295940451
标定出的摄像机内参数如表2所示,x方向等效焦距 fx与y方向等效焦距 fy非常接近;理论上主点位置应为图像中心(960,540),计算出的x方向主点位置cx,偏离约11个像素,y方向主点位置cy,偏离约1个像素。图5标定图像的重映射误差畸变影像处理效果分析表示每副标定图像的重映射误差,体现了标定结果的内符合精度,误差越低表示模型精度越好,本次标定结果的平均映射误差0.65像素,说明精度较高。
图5 标定图像的重映射误差畸变影像处理效果分析
4.2 畸变图像矫正
通过相机标定得到的内参矩阵和畸变系数,利用 OpenCV 提供的 cvUndistort2()函数[11~12],可得到矫正后的图像,如下图6(a)~(d)所示。由第一组两幅图中可以看出,原畸变图像中的地砖线、标定玻璃板边沿、暖气下边缘,在矫正后的图像中得到了很好的修正。在第二组两幅图像中,实验室的转动平台、窗户、以及桁架导轨的形变都得到了很好的修正。
图6 矫正后的图像
5 结语
利用摄像机标定技术,解算出广角摄像机内参数和畸变系数,对广角摄像机畸变图像进行了修正,有效解决了广角摄像机镜头带来的图像几何畸变,恢复了图像正常比例,为后续正常图像处理与分析提供了可能。本文中的相机标定算法与图像矫正算法,在实验室条件下对多种广角单反相机做过相关实验,具有一定的通用性。
参考文献
[1]赵清杰,钱芳,蔡利栋.计算机视觉[M].北京:机械工业出版社,2005(3):312-316.
[2]于起峰,尚洋.摄像测量学原理与应用研究[M].北京:科学出版社,2009.
[3]张静,朱大勇,张志勇.摄像机镜头畸变的一种非量测校正方法[J].光学学报,2008,28(8):1552-1557.
[4]吴德烽,陈天飞,徐轶群等.船舶机舱视觉监测系统畸变图像校正方法[J].中国航海,2012,35(4):41-44,118.
[5]马广彬,章文毅,陈甫.图像几何畸变精校正研究[J].计算机工程与应用,2007,43(9):45-48.
[6]廖士中,高培英,苏艺等.一种光学镜头摄像机图像几何畸变的修正方法[J].中国图象图形学报,2000,5(7):593-596.
[7]英向华,胡占义.一种基于球面透视投影约束的鱼眼镜头 校 正 方 法[J].计 算 机 学 报 ,2003,26(12):1702-1708.
[8]徐芳,刘晶红.航空大视角镜头畸变校正技术[J].计算机应用,2013,33(09):2623-2626,2630.
[9]Z.Zhang.A Flexible New Technique for Camera Calibra⁃tion[J].IEEE Trans.Pattern Analysis and Machine Intelli⁃gence,2000,22(11),1330-1334.
[10]Z.Zhang,Camera Calibration with One-Dimensional Objects[C]//Proc.European Conf.Computer Vision,2002,4:161-174.
[11]于仕琪,刘瑞祯译.学习OpenCV[M].北京:清华大学出版社,2009.
[12]梅迎春,王朝立,廖勤武.基于OpenCV的摄像机标定的应用研究[J].计算机工程与设计,2009,30(16):3856-3858,3862.