更全的杂志信息网

基于机器视觉的非平整物体表面凸起异物检测方法

更新时间:2009-03-28

0 引言

电机在航空、航天、航海、工业生产、汽车、家用电器等众多领域得到广泛应用,而且换向器,是电机的核心部件,也随着电机行业的发展而逐渐增长[1]。而换向器的外观质量检测则是换向器生产线中的一个重要工序。目前为止,中国换向器生产厂家产品质量仍采用人工检测方式,导致了产品质量检测存在着高漏检率和误检率、低效率,高成本的状态。此外,长期工作对人眼和身心都有不同程度的影响。因此,采用自动化技术代替更新现有检测方式是一个必然的趋势。

通过对换向器实际生产过程的研究分析,换向器存在最为严重的质量问题是存在槽口凸起异物,如图1所示。其中所谓凸起异物是指换向器在生产过程中由于刀具切割时,由刀片带出而粘黏在切割槽口边缘的铜,呈现状态是块状、条状,凸起异物状等,且大小各不相同、位置也不是固定,一般很难用气吹吹干净。由于换向器是按照在电机转子上的一个重要部件,并在随着电机的使用而高速运转,由于槽口存在凸起异物是金属铜片,在电机高速运动中脱落而导致电机短路,轻则烧毁电机,重则导致重大事故。经考察,几乎所有的换向器厂家仍然保持采用人工检测方式,目前仍没有相应针对性的产品质量检测设备对其进行检测,其主要原因通过视觉检测具有一定的难度。

  

图1 实际凸起异物缺陷样品图片

机器视觉技术对产品检测一直是研究的热点,在工业零部件、电子行业产品、药品、食品等方面均有应用。文献[1]利用机器视觉技术设计的电机换向器参数检测系统,实现了对电机换向器不合格零件进行自动识别与快速抓取。Hong-Dar Lin [2]基于机器视觉设计了一套检测LED环氧基树脂半球表面微小缺陷的检测系统,利用频域中增强图像缺陷特征的方法。Anders Landstrom[3]提出了基于机器视觉的方法用于检测钢板裂缝缺陷,设计了一套全自动检测钢板材料裂缝的系统。文献[4]提出了用于确定多个图像的表面取向的光度法,即是光度立体视觉的基本原理。文献[5]提出了将一个平滑形状的多帧立体重构的问题作为场景图像集合的全局区域分割,在变分框架内构建分割问题,并使用快速级集合方法来数值近似最优解。文献[6]介绍了通过光度立体视觉对采样球实例引导由被测物体上各点亮度求解对应的法向量,并进而结合相关几何约束求出求解出对应的深度值,从而改进了三维重建的效果。文献[7]提出了利用光度立体视觉算法在8个不同方向的光照下拍摄多幅织物图像,通过重建织物表面各点的高度,提取高度值和尖锐度来表征褶裥特征,对织物褶裥等级进行评定的方法。文献[8]介绍了采用光度立体学的原理,利用彩色三线阵电荷耦合元件(Charge-coupled device,CCD)摄像机拍摄两幅不同颜色光照和角度的灰度图像,从而获得对应通道图像表面法向的方法检测表面微小缺陷。文献[9]提出了近光源模型解决近光源大尺寸物体的三维重建。文献[10]提出的系统设计了一种新颖的图像采集系统,以增强缺陷出现,并设计了一种基于规则的简单而有效的检测算法和提出的系统通过召回,精度和F度量进行评估和比较。Lin[11] 提出了一个基于视觉注意力模型图像质量改进方法,该算法是利用调整暴露水平的输入图像,然后创建几个中间结果进行融合,可以获得良好的视觉质量的合成图像。文献[12]提出了一种基于差分图像的残留物检测算法那,该算法基于灰度模板匹配定位后再与标准图像差分,然后进行检测。

⑧⑨Jeffrey Olick,“From Collective Memory to the Sociology of Mnemonic Practices and Product”, Astrid Erll,& Ansgar Nünning eds.,Media and Cultural Memory:An International and Interdisciplinary Handbook,De Gruyter ,2008,p.156,p.169.

秀容月明比谁都清楚,北城外面,必然埋伏着胡人的两支精锐骑兵,只要城门开了,桂州城就破了。在长于野战的胡人铁骑夹击下,开门出战的宁军也好,意图逃跑的百姓也好,决无幸免之理。要是巢城没失守,便可牵制胡人,时机到了,还可出击,和桂州相呼应。如今说什么都没用了,张家猛已把巢城弄丢了。要是他手上有一万秀容兵,局面便大不相同,说不定还能大破胡人,可惜,他只有两千秀容兵,连着十五天鏖战,秀容兵只剩两三百人了。

其中,由于四方位的光源均为相同型号的条形光,各入射角都均为θ,故在其光照强度相等,l为条形光源的长度,四根条形光位置固定且均匀分布,每个光源距离检测换向器的高度相同,均为h

分析方法则是将不同鱼粉产品的质量指标数据进行统计分析,以总结鱼粉质量评价指标的变化规律、探讨适宜的评价指标种类和指标值,以及筛选判定不同鱼粉产品类型的有效指标等为主要目标和分析方向。旨在探讨判定鱼粉真实质量水平和质量状态的有效指标筛选和合适的指标值。

针对换向器这种非平整表面存在凸起异物检测特性问题,本文采用机器视觉技术,提出一种基于光度立体视觉的非平整表面凸起异物检测的新方法,通过四方位的光照射,获得不同方位的光照图,对其计算得到反照率图像进行高斯卷积处理,再结合特定区域的极坐标转换检测凸起异物。该方法较好解决了单目镜头检测准确率低和多目立体视觉成本高效率低问题,该系统在工业上应用具有高效率和高准确率,此外该方法还具有较强的鲁棒性。

1 检测原理

图2中,摄像机安装在垂直于传送带表面的正上方;条形组合光安装在摄像机与传送带之间,其中条形组合光采用的同一型号的条形光组合而成,分别位于同一平面的0°、90°、180°、270°方位,且四方位光源的距待检测换向器的距离和光照强度相同,光照入射角度均为θ。通过该成像系统可以采集到待检测换向器在四方位光照下的图像,通过搭建环境采集凸起异物图片如图3所示。

  

图2 系统结构图

  

图3 在线采集不同方位的凸起异物图片

根据光度立体视觉原理中的朗伯体表面反射模型,对于光照方向为S的光源,其表面的单位法向量为N,则其反射光的亮度I为:

I=ξS·N

(1)

其中:I表示为目标物体表面(x,y,z)处的漫反射光投射到相机上的光亮度,即图像灰度值I(x,y);ξ为物体表面反射率系数; S=(Sx,Sy,Sz)TN=(Nx,Ny,Nz)T

由于该系统具有四个不同方向的光源分别照射到物体的同一点上,所以通过公式(2)可以建立如下方程组,

 

(2)

则公式(2)变为矩阵形式:

 

(3)

根据图2结构图中x-y-z为世界坐标系和各光源的几何位置关系,可以得到简化结构后的光度立体法的归一化后的光源矢量矩阵表达式S为:

 

(4)

换向器质量中存在的凸起异物检测需求分析有三大难点:(1)该凸起异物呈现状态是块状、条状,不规则凸起状等,且大小各不相同、位置、方向也不是固定;(2)该凸起异物存在区域特殊,主要粘黏在槽口铜片上,单纯的二维成像无法正确区分其是否为凸起异物;(3)换向器的表面为非平整表面,通过一般的机器视觉成像原理难以满足在线快速准确的检测需求。

又由于在不同光源拍摄时,换向器是静止的,所以相对于每张图片对应的实际换向器部位是相同的,则ξ也可以认为是不变的。因此,可以通过公式(4)求出每个像素点所在表面的法向量N

 

(4)

因此可以得到每个像素点对应的反照率(Albedo):

ρ=|N|

(5)

2 检测方法

根据光度立体视觉原理和极坐标转换方法,设计了相应的凸起异物检测方法,如图4所示。

“是,但也用不着声张吧?”克里斯蒂娜戳了下艾尔粗壮的胳膊。“不过说的也是啊,我们现在是一只脚迈进无畏派的大门,如果想成为正式的成员,我们的样子就要看起来像才行。”

步骤2:计算图像获取反照率图和梯度场图。根据步骤1采集的四方位光照图,通过利用光度立体视觉理论计算图像,获取其对应的光照反射率图像,即反照率图。

  

图4 方法流程图

具体步骤如下:

步骤1:读取各方向光照图像。通过光度立体视觉成像原理需求,采用对称四方位打光方式采集相应的图片。

式中,ce,水解平衡时水解液中葡萄糖的浓度,g/L;ct,任意时刻水解液中葡萄糖的浓度,g/L;t,水解时间,min;k1,拟一级水解反应速率常数,min-1;k2,拟二级水解反应速率常数,L/(g·min)。

步骤6:图像处理。采用gamma函数对图像进行亮度调节,并采用核大小为3×31单向均值滤波器对极坐标变换后得到的图像进行滤波处理。

步骤3:计算图像高斯卷积图。采用高斯核为3的浮雕滤波器(Embossing Filter)对反照率图片进行卷积,获得高斯卷积图像。

步骤4:获取图像预处理区域。根据上述步骤2得到反照率图像,采用阈值方法提取换向器铜片所在的位置,利用该区域位置信息获取对应高斯卷积图像所在铜片区域作为图像预处理区域。

客户的需求日益多元化,让加油站升级成为必然之势。中国石油全面开启加油站3.0时代,也对河北销售加油站提出了更高的要求。

步骤5:极坐标变化。对获取预处理区域的图像进行极坐标转换。

利用径线检测算法和自动轮廓检测算法,QFR测量软件可提取出目标血管的管腔边界,基于该边界对目标血管进行三维重建,可获得血管的三维尺寸信息。

“我们也不知道入口在哪儿。宇轩谷主说,这盘棋会告诉你们。可是我与乌有老儿下了半宿棋,发现王积薪那小子的媪妇谱,就是四个字:此路不通。”子虚接着叹气。

步骤7:缺陷判断。采用经验阈值方法判读是否存在凸起异物,并获取凸起异物所在的大致区域位置信息。

接着采用高斯核为3的浮雕滤波器(Embossing Filter)对反照率图片进行卷积,该卷积方式可以给图像一种3D阴影效果,其中高斯核大小为则通过该滤波器卷积得到的效果如图6所示。

2.1 计算反照率图和高斯卷积图片

根据上述光度立体视觉的方法原理,在同一位置下采集不同方位光源下的四张图片,首先通过公式4计算出每个像素点归一化的光源矢量矩阵S,然后通过公式4和公式5则可以计算其出每个像素点的反照率ρ。通过计算图3采集的四张图片,可以得到该换向器对应的反照率图片,如图5所示。

步骤8:结果显示。通过步骤7得到的位置信息,采用极坐标反变换得到对应图像位置信息,然后在步骤2得到的反照率图像上标识所有凸起异物所在的位置。

通过对比词库研究发现,日语IT新词中外来语改造词所占的比例并不高,仅占4.8%。这一结果与IT新词基本采取了音译吸收有直接关联,说明绝大多数日语IT新词在遵循原词词义的基础上,通过音译的形式被引进到本国语言中并被迅速加以运用。这一现象与明治时期引入西方各种学术概念时的情形有所不同,当时学术用语中曾出现了大量的外来语改造词(王鸣2006:86)。由此可见,日语在IT新词的吸收上,表现得更为直接和高效。

  

图5 计算得到反照率图片 图6 计算得到高斯卷积图片

2.2 提取感兴趣区域并对其极坐标转换

通过光度立体视觉和高斯卷积得到的图片后,仍存在着表面字体和边缘轮廓的影响,为了去除这些干扰,以达到准确的凸起异物检测,通过gamma函数对图片亮度进行调节,接着提取感兴趣区域后进行极坐标转换进行处理。

首先,采用gamma函数对图像进行亮度调节,使得目标检测物换向器更加突出;并对亮度调节后的反照率图片进行阈值处理获取换向器凸起异物大致所在的区域,如图7所示;则可以得到该环形预检区域的位置信息,其中区域的中心坐标为(Cx,Cy),R为换向器铜片所在的外半径;R0为换向器铜片所在的内半径。

将样品匀浆,装入色差计样品杯中,置于色差计上采用镜面反射模式从不同角度分别测定其L*,a*,b*值[12]。

  

图7 感兴趣区域选取

接着针对该环形区域的位置信息,获取其在高斯卷积图片中对应的铜片区域,通过提取高斯卷积图片中对应铜片部分后采用极坐标到直角坐标的转换成一个矩形图像坐标变换,如图8所示。其中, W的矩形图像的宽度;令F(x,y)和D(w,r)为原图像和目标图像,则两者存在如下关系:

 

(6)

其中:(Cx,Cy)为换向器的中心坐标,α=2πw/W

  

图8 感兴趣区域极坐标转换

2.3 单向均值滤波并阈值选取缺陷

考虑到极坐标转换后的图片中凸起异物图像的特性,采用内核大小为3×31的均值滤波器对图像进行纵向的滤波,该滤波可以使得异物缺陷部分更加突出。接着采用设定阈值方法提取缺陷所在的位置,如图9 (a)所示,并保存其位置坐标信息,最后可通过获取的缺陷位置坐标信息,对其进行极坐标反变换后则可以得到对应的图像坐标,并在反照率图像上标识出凸起异物检测所在位置,如图9(b)所示。

  

图9 检测结果

3 实验结果

为验证本文所提出方法的准确性和有效性,根据光度立体视觉的成像原理选取硬件设备,搭建换向器凸起异物检测测试环境,如图10所示。

  

图10 实验测试环境

随机抽取在线生产换向器产品分三组作为测试样本进行该方法检测测试,首先通过搭建的实验环境利用该方法对换向器三组样品分别进行测试,部分测试结果凸起异物图如图11所示;接着通过人工对三组样品进行分类统计并核对其检测结果的准确性,实验结果统计见表1。其中样本通过人工统计后分类如下,样本一:537个,包含526个合格品和11缺陷品;样本二:2055个,包含2017个合格品和38缺陷品;样本三:3105个,包含3058个合格品和47缺陷品。

  

图11 凸起异物检测结果

 

表1 测试结果样品总量

  

样品总量该方法检测分类人工核验分类良品个数凸起异物个数良品个数凸起异物个数误检个数漏检个数样本一(537个)525125261110样本二(2055个)20134220173840样本三(3105个)30525330584760

其中在该系统中的所有合格换向器中正确检测为合格换向器占所有换向器的比例定义为系统的准确率,也即是精度(P);而所有合格换向器中误检为不合格换向器占所有合格换向器的比例定义为系统的误检率(N),漏检率(O)则是所有不合格换向器中误检为合格换向器占所有合格换向器的比例。

 

表2 性能分析

  

样本一样本二样本三检测良品个数(TP)52520133052检测次品个数(FP)124253误检个数(TN)146漏检个数(FN)000精度P(525-0)+(12-1)525+12∗100%≈99.814%(2013-0)+(42-4)2013+42∗100%≈99.805%(3052-0)+(53-6)3052+53∗100%≈99.807%误检率N1525+12∗100%≈0.186%42013+42∗100%≈0.195%63052+53∗100%≈0.193%漏检率O0525+12∗100%=0%02013+42∗100%=0%03052+53∗100%=0%

计算公式如下所示:

 

(7)

其中:TP是指合格换向器被检测成成合格换向器的个数,TN是指合格换向器被检测成不合格换向器的个数,即是误检个数;FP是指不合格换向器被检测成不合格换向器的个数,FN是指不合格换向器被检测成合格换向器的个数,即是漏检个数。

通过公式(7)分别计算表1中的数据,得到该方法检测分类的性能,如表2所示。

通过表2性能数据分析可以得到图12的性能直方图,从该直方图中可以看出,该方法在三组随机样品的测试中的精度均达到99.8%以上;而且其漏检率为0%,即不存在漏检率;其中存在的误检率均低于0.2%,分析其导致误检的原因主要出现开槽槽口在存在电木粉粘黏导致检测为异物,从而产生误检。

  

图12 性能分析结果图

4 结论

本文针对换向器存在最为严重的槽口凸起异物质量检测问题,目前采用的人工检测方式存在检测速度慢和漏检率高,分析其检测存在的三大难点:(1)该凸起异物呈现状态是块状、条状,不规则凸起状等,且大小各不相同、位置、方向也不是固定;(2)该凸起异物存在区域特殊,主要粘黏在槽口铜片上,单纯的二维成像无法正确区分其是否为凸起异物;(3)换向器的表面为非平整表面,通过一般的机器视觉成像原理难以满足在线快速准确的检测需求。本文运用图像处理和机器视觉技术提出一种基于光度立体视觉的换向器非平整面凸起异物检测的方法。通过四方位的打光获得不同方位的光照图,对四方位的光照图进行计算得到其反照率图像,通过高斯卷积后的图片对其进行特定感兴趣区域的提取,并采用极坐标转换后提取缺陷特征对其进行凸起异物检测。实验结果表明,该方法在不存在漏检的情况下,准确率达到了99.8%以上,且误检率在0.2%以下;能够满足快速有效检测换向器非平整表面存在的凸起异物问题,可以避免了人工只凭经验检测而导致的漏检的问题,并且也大大提高了良品率和生产效率,能够满足对换向器质量的在线检测需求。

参考文献

[1] 徐晓峰.基于机器视觉的电机换向器参数检测系统设计[J]. 制造技术与机床,2014(1):79-82.

[2] Lin H D, Chiu S W. Flaw detection of domed surfaces in LED packages by machine vision system[J]. Expert Systems with Applications,2011,38:15208-15216.

[3] Anders Land strom, Matthew J.Thurley. Morphology-Based Crack Detection for Steel Slabs[J]. IEEE Journal on Selected Topics in Signal Processing, 2012,6(7):866-875.

[4] Robert J. Woodham. Photometric Method for Determining Surface Orientation from Multiple Images[J].Optical Engineering.1992,19(1):139-144.

[5] Yezzi A J, Soatto S. Stereoscopic segmentation[J]. International Journal of Computer Vision, 2001, 53(1):59-66.

[6] 李 健,马泳潮,马 文. 基于光度立体法的织物三维数字化研究[J].陕西科技大学学报,2014,32(5):152-160.

[7] 刘瑞鑫,李立轻,汪 军,等. 基于光度立体视觉的织物褶裥等级评定[J]. 东华大学学报(自然科学版).2013,39(1):48-52.

[8] 徐 科,周 鹏,杨朝霖.基于光度立体学的金属板带表面微小缺陷在线检测方法 [J]. 机械工程学报, 2013, 49(4):66-71.

[9] 张珊珊,吕东辉,孙九爱. 近光源光度立体三维重建误差分析 [J]. 计算机技术与发展,2015,25(1):168-172.

[10] Shen H, Li S X, Gu D Y, et al. Bearing defect inspection based on machine vision[J]. Measurement,2012,45(4):719-733.

[11] Lin G S, Ji X W. An image quality improvement method based on visual attention model[A]. 2015 IEEE International Conference[C].2015:366-367.

[12] 邓高生,李 迪,王世勇. 基于差分图像的滴塑模具残留物检测算法[J]. 计算机测量与控制, 2016, 24(12):14-16.

 
罗立浩,许亮
《计算机测量与控制》2018年第05期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号