更全的杂志信息网

一种改进的人眼定位算法研究

更新时间:2009-03-28

1 引言

随着国家对机器人发展重视度的提升,机器人技术成为研究热点[11]。视线控制机器人是其中的一个方向,而视线控制机器人的一个重要前提就是对人眼的精确定位。在人眼定位方面,国内外学者已经做了相关研究,比如基于hough变换人眼定位,该算法定位精度高,但由于需要参数圆心坐标和半径,每个点映射成参数空间的一个曲面,是一到多映射,因而计算量急剧增大;基于灰度积分投影定位算法,该算法只考虑了均值的变化,却没有考虑到均值相同时灰度值变化情况;基于方差函数的人眼定位算法,该算法在人眼定位时忽略了灰度平均值、基于谷算子的人眼特征提取算法,该算法存在定位精度不高等缺点。为了克服上述缺点,提高人眼定位精度,为后期视线追踪控制机器人做好准备,提出基于改进的积分投影算法。该算法克服了以上算法的缺陷,可以在人脸发生偏转45°时,仍能准确检测定位人眼,具有较强的鲁棒性。

2 图像处理

2.1 图像色彩空间以及肤色模型

传统的计算机颜色空间模型有RGB、HSV、YCrCb、XYZ等。其中:针对这几种颜色空间模型,对人脸图像分别进行了RGB、XYZ、HSV、YCrCb颜色空间转换实验,如图1所示。

  

图1 颜色空间模型Fig.1 Color Space Model

通过实验效果发现采用YCrCb颜色空间模型受亮度影响较小。

 

式中:Y—流明,Cb、Cr—蓝色、红色浓度偏移量成分。

2.2 图像亮度自适应补偿

由于人眼控制机器人的环境可能是在室内也可能在室外,光照条件会有很大的变化,这会使得人脸皮肤的色度受到很大的影响。因此为了保证人眼定位的精度必须保证足够的光照,使得图像光照强度达到平衡状态,因此需要对图像的亮度进行自适应补偿。对此设计了自适应亮度补偿算法。

设定像素的灰度值为G(x,y)、像素总数为n、灰度级为256,同时设定黑白参考点为w和b,然后对像素的亮度从高到低进行排序,取其中的前5%的像素。如果像素灰度值小于白参考点则为0,如果灰度值大于黑色参考点则为255。建立非线性变换数学模型

通过对颜色空间转换得到的图像经过非线性变换后转换为RGB颜色空间得到效果,如图2所示。

  

图2 光线补偿Fig.2 The Light Compensation

2.3 图像滤波

在采集图像时由于数据在传输、存储时发生的数据丢失和损坏等的影响,图像中会出现一些不规则的随机噪声点[12-15],这些都会影响图像的质量。而且图像信号并不存在理想的阶跃畸变,如果直接采用拉普拉斯算子进行灰度跃变检测,那样会产生很多的虚假特征点。为了消除图像中的噪声点以及去除虚假特征点,需要进行图像平滑滤波处理。通过对图像平滑可以降低图像的视觉噪声,同时可以去除图像中的高频部分,对低频成分进行加强。而噪声点一般是孤立的点,噪声点的像素灰度变化具有突变高频部分。图像平滑采用卷积来实现,卷积核的大小及卷积系数决定平滑的频率截止点。经过卷积平滑后给后续图像水平投影、二值化提供了较好的图像效果。使得水平投影的曲线显得更加平滑,二值化后的图像孤立点显著减少。在进行数学仿真时,默认CCD传感器所引入的高斯白噪声服从正太分布,因此对高斯卷积核进行了针对性设计:

根据《公益性行业科研专项经费管理办法》的规定,在项目实施期间出现项目计划任务调整、项目负责人变更或调动单位、项目承担单位变更等重大事项,劳务费、专家咨询费和管理费以外的支出科目预算执行超过核定预算10%且金额在5万元以上的,应由行业主管部门审批。制度调整后,项目执行过程中的上述调整或由财政部审批,或由科技部审批,或由项目承担单位自行审批,行业主管部门只拥有在中期财务检查或财务验收时进行确认的权利。

高斯卷积核 H:(2k+1)×(2k+1)维,则:

 

处理之后北侧JC3、JC2稳定在现在的标高上,其他JC1、JC4基础平稳缓慢地被抬升但仍未达到规范要求。因此采用八台液压千斤顶加以电脑辅助顶升控制,井架快速回倾至规范允许值以内井架垫板下口加塞大截面钢板补衬,用C50高标号砼二次灌注。经矿方地测部门长期观测,井架未发生新的倾斜。

  

图3 正态分布曲线Fig.3 The Normal Distribution Curve

式中:Cr、Cb—平均值;V—协方差矩阵。

 

2.4 彩色图像肤色模型

周永明的次女周淑英,是蔚县剪纸的第三代传人。本来,父亲周永明不打算把手艺传给周淑英,可是,三四岁就跟在父亲身边耳闻目染剪纸工艺的周淑英比别人更用心、更用功,她不仅染色技艺超群,创新了许多染色工艺,还与哥哥姐姐一起革新了刀工和绘画,让蔚县剪纸技艺更上一层楼。2006年,蔚县剪纸入选第一批国家级非物质文化遗产,2009年,入选世界《人类非物质文化遗产代表名录》。

 

高斯函数数值分布在(u-3σ,u+3σ)中的概率为 0.9974,如图3所示。相应卷积核矩阵越大,方差越大,矩阵覆盖范围也会越大。对此设计卷积核为(3×3)矩阵模板M,设图像中任意一点坐标(x,y),则该点的像素值为f(x,y):

根据第41次《中国互联网络发展状况统计报告》的数据显示,到2017年12月,我国网民规模达到7.72亿,网民中使用手机上网人群的占比由2016年的95.1%提升至如今的97.5%,其中20~30岁的人群占30%。这个年龄阶段大部分都是青年大学生,而青年大学生是一个特别重要的群体,他们是社会主义的建设者,是新时代的接班人。大学生对我国文化的自信程度和价值取向直接关系到我国未来的发展。

  

图4 肤色检测Fig.4 Skin Color Detection

2.5 改进的灰度积分投影

由于IPF定位算法,该算法只考虑了均值的变化,却没有考虑到均值相同时灰度值变化情况;而VPF函数的人眼定位算法,该算法在人眼定位时忽略了灰度平均值;因此设计了IPF结合VPF投影的混合投影算子(HPF),该算子可以结合了灰度积分投影与方差投影的优点,很好的克服了各自存在的缺点。为了精确的定位人眼,对垂直混合投影HV(X)和水平混合投影Hh(y)投影函数进行了定义:

 
 

从此坐标沿半径方向扫描整个眼球区域,计算眼球的灰度梯度图。根据眼球边界条件f(r)判断眼球边界。

由于人的肤色在色度上的差异远小于亮度的差异,因此,建立人的肤色2DGaussian 模型 G(m,v2):

2.6 人眼定位

2.6.1 人眼区域定位

究其原因,温度升高时,二氧化碳气体挥发的快,麻醉减弱,容易苏醒,最终保活时间减短,Peters等[17]人发现鲶鱼在随着温度的升高,无水保活时间越短,所以当温度大于8 ℃时,保活时间变短。当温度降低时,由于鮰鱼耐低温性较差,低温会对鱼体造成不可逆的损伤[21]。因此,选择最佳的保活温度对鱼的保活运输十分有意义,能延长鱼的保活时间。

式中:w、h—滤波器窗口的宽度和高度;σ—方差;k—滤波器核的维数。

通过上述图像处理后,可以确定人脸区域,这为人眼定位打下了基础。初步混合投影确定人脸区域后,根据人眼的先天经验获得人眼区域,然后进行二次混合投影确定人眼虹膜,经过2次混合投影精确求出人眼眼球所在的位置区域x1、x2、y1、y2眼球区域,如图5所示。

根据人脸肤色模型获得人脸区域,如图4所示。

  

图5 人眼检测效果Fig.5 The Human Eye Detection Effect

为了进一步定位人眼瞳孔的中心,对人眼眼球轮廓进行了提取。为了提高运算速度,采用一维算子[1 1 0-1-1]来进行眼球边缘提取。在第二次混合投影后获得眼球区域为一个矩形作为眼球的边界条件,则粗略估计眼球中心为矩形的中,即:((x1-x2)/2,(y1-y2)/2)

Structural Selection and Optimal Design of Long Span Roof for VSC-UHVDC Valve Hall SHI Xiao(98)

式中—方差投影函数归一化在[0,1]的结果。如图所示为混合投影算子的垂直混合投影和水平混合投影。通过初步混合投影先确认人脸区域,如图6所示。

无锡禅意小镇·拈花湾位于无锡马山太湖国际旅游度假岛,距离无锡市区三十余公里。拈花湾面湖依山,风景秀美,其命名源于佛教中“拈花微笑”的典故。作为灵山集团重点打造的五期工程,小镇投资将近50亿元,规划建筑面积达到约35万平方米。拈花湾通过对禅文化的创造性运用,打造成为“具有东方文化内涵的心灵度假目的地”。自2015年11月14日开园以来,已吸引了众多的游客前来感受禅意生活。根据统计,2017年拈花湾的客流量为174.1万人次。

 

式中:I(r)—搜索半点灰度值;G(r)—该点的梯度值;T—最佳阈值;rn-1—边界点半径;k1,k2,k3—权重系数。对获得的梯度值进行排序,踢出像素梯度值过大、过小的像素点,从而获得眼球的边缘。

2.6.2 眼球边缘拟合

为了精确获得眼球中心坐标,采用最小二乘法进行眼球轮廓拟合。设眼球轮廓序列(ci,di),i属于(1,2,3,...,n),圆的一般方程为(x-A)2+(y-B)2=R2则:

 

轮廓序列点集到圆心(A,B)拟合误差平方:

 

令:Q(a,b,c)

Q(a,b,c)对 a,b,c 求一阶偏导数得:

 
 

将轮廓点集序列带入到一阶偏导数方程得:

 

从而精确推算出眼球的中心坐标,如图6所示。

3 定位结果

在VS2010平台下,利用MFC、结合OPENCV图像处理类库实现了人眼球的定位算法。为了验证该算法的有效性,首先对人脸上下倾斜30°、左右偏转45°,在白天室内自然光照条件下进行了实验测试,如图6所示。并对人眼姿势和人眼是否带眼镜进行了多组实验,如表1~表2所示。其次对不同图像分辨率条件下进行了样本漏检数量和定位时间的记录,如表3所示。最后对该算子对人眼的定位精度与传统算子定位精度做了比较,对比图像分辨率为320*240,如表4所示。

  

图6 人脸偏转定位效果Fig.6 Face Deflection Location Effect

 

表1 带姿势的眼镜检测结果Tab.1 Resolution of the Contrast Test

  

成功率 (0~15)° (15~30)° (30~45)° (45~60)°人眼特征点 100% 98.9% 97.08% 92%

 

表2 眼镜因素测试Tab.2 Resolution of the Contrast Test

  

成功率 (0~15)° (15~30)° (30~45)° (45~60)°有眼镜 94% 92.19% 88.1% 84.3%无眼镜 100% 98.9% 97.08% 92%

 

表3 分辨率对比测试Tab.3 Resolution of the Contrast Test

  

分辨率 样本数 检测率 平均定位时间160*120 100 95.19% 230ms 320*240 100 97.08% 320ms 640*480 100 98.00% 400ms

 

表4 算法精度对比Tab.4 Algorithm Accuracy Comparison

  

算法 样本数 检测率 平均定位时间模板匹配 100 94.19% 237ms支持向量机算法 100 96.08% 323ms算子 100 97.08% 320ms

从实验结果中可以看出改进的积分投影算子在相同分辨率(320*240如表2)时在人眼定位的准确率以及人眼定位的时间上都有所提高。这对后期研究人机交互精度以及实时性提供了重要的基础。

4 结论

通过实验测试发现,在检测率精度上比传统精度有所提高,同时检测时间也有所减少。基于最小二乘法的圆形拟合和混合投影算子对人眼定位具有很好的精度以及很好的鲁棒性。这为后期通过人眼视线控制机器人运动打下了坚实的基础。

作者简介:马晓莉,女,江苏常州人,江苏省常州市红溪实验幼儿园,大四班,班主任,教师,本科学历,研究方向:幼儿园绘本教学。

参考文献

[1]孟春宁,白晋军,张太宁.基于梯度积分投影和最大期望算法的人眼定位[J].光电子.激光,2012(10):1971-1976.

(Meng Chun-ning,Bai Jin-jun,Zhang Tai-ning.Based on the gradient integral projection and maximum expected algorithm of eye location[J].Journal of Photoelectron.Laser,2012(10):1971-1976.)

[2]王小玉,张亚洲,陈德运.基于多块局部二值模式特征和人眼定位的人脸检测[J].仪器仪表学报,2014(12):2739-2745.

(Wang Xiao-yu,Zhang Ya-zhou,Chen De-yun.Based on local binary pattern characteristics and eye location of face detection[J].Journal of Instruments and Meters,2014(12):2739-2745.)

[3]李响,谭南林,李国正.基于Zernike矩的人眼定位与状态识别[J].电子测量与仪器学报,2015(3):390-398.

(Li Xiang,Tan Nan-lin,Li Guo-zheng.Based on the Zernike moment of eye location and status recognition[J].Journal of Electronic Measurement and Instrument,2015(1):390-398.)

[4]刘念,苏杭,郭纯宏.基于Hough变换圆检测的人眼定位方法改进[J].计算机工程与设计,2011(4):1359-1362.

(Liu Nian,Su Hang,Guo Chun-hong.Eye location method based on Hough transform circle detection improve[J].Computer Engineering and Design,2011(1359):1359-1362.)

[5]杨帆,张华,潘国峰.应用自适应图像分割与曲线融合的人眼定位[J].光学精密工程,2013(12):3255-3262.

(Yang Fan,Zhang Hua,Pan Guo-feng.Application of adaptive image segmentation with the curve of eye location[J].Optical Precision Engineering,2013(12):3255-3262.)

[6]张敏,陶亮.人脸图像中人眼的检测与定位[J].光电工程,2006(8):32-36+93.

(Zhang Min,Tao Liang.Face images of the human eye detection and location[J].Journal of Electrical Engineering,2006,Preceding:32-36+93.)

[7]刘鹏,江朝晖,熊进.用于驾驶疲劳检测的人眼定位及状态判别算法[J].计算机工程与应用,2010(24):185-188.

(Liu Peng,Jiang Zhao-hui,Xiong Jin.For driver fatigue detection of eye location and the status discrimination algorithm[J].Computer Engineering and Application,2010(24):185-188.)

[8]郑庆.基于肤色的人脸检测与人眼定位[D].成都:电子科技大学,2007.

(Zheng Qing.Based on the color of skin of face detection and eye location[D].Chengeu:University of Electronic Science and Technology,2007.)

[9]杨述斌,金璐,章振保.疲劳驾驶检测中的快速人眼定位方法[J].武汉工程大学学报,2013(6):67-72.

(Yang Shu-bin,Jin Lu,Zhang Zhen-bao.Rapid eye location method in the fatigue test of[J].Journal of Wuhan university of Engineering,and Practices of 2013:67-72.)

[10]武妍,杨洋,王丽萍.基于灰度信息和瞳孔滤波器的人眼定位算法[J].计算机工程与应用,2005(33):49-51.

(Wu Yan,Yang Yang,Wang Li-ping.Eye location algorithm based on gray level information and the pupil filter[J].Computer Engineering and Application,2005:49-51.)

[11]王春荣,蔡勇,蒋刚.基于ADAMS与WLSSVR的移动机器人定位误差研究[J].机械设计与制造,2012(1):150-152.

(Wang Chun-rong,Cai Yong,Jiang Gang.Research of mobile robot localization based on ADAMS and WLSSVR error[J].Journal of Mechanical Design and Manufacturing,2012(1):150-152.)

[12]周美锋.基于Mecanum轮的全方位移动机器人研究[D].南京:南京航空航天大学,2014.

(Zhou Mei-feng.An omni-directional mobile robot based on Mecanum wheel research [D].Nanjing:Nanjing University of Aeronautics and Astronautics,2014.)

[13]张天石.具有双目立体视觉的球形机器人以及控制方法研究[D].北京:北京邮电大学,2013.

(Zhang Tian-shi.A study on the method of binocular stereo vision and spherical robot control[D].Beijing:Beijing University of Posts and Telecommunications,2013.)

[14]林琳.机器人双目视觉定位技术研究[D].西安:西安电子科技大学,2009.

(Lin Lin.Robot binocular vision positioning technology research[D].Xi’an:Xi’an University of Electronic Science and Technology,2009.)

[15]范哲.基于Kinect的三维重建[D].西安:西安电子科技大学,2013.

(FanZhe.3DReconstructionbasedonKinect[D].Xi’an:Xi’anUniversityof Electronic Science and Technology,2013.)

 
房爱青,吴金强,李长勇,刘威
《机械设计与制造》 2018年第05期
《机械设计与制造》2018年第05期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号