基于边缘信息和混合高斯融合的运动目标检测
运动目标检测[1]是计算机视觉和数字图像处理的一个热门方向,广泛用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域,它的目的就是从视频序列中将运动的目标提取出来。当前,对运动目标的检测主要有3种方法:背景消减法、帧间差分法、光流法[2-4]。背景消减法是通过当前帧与背景模型差分得到运动目标,因此如何求得背景模型以及实时更新是该方法的关键所在。帧间差分法是通过对连续帧作差分来获得运动目标,由于受光线和目标运动状态的影响,该方法很难得到完整的目标轮廓。光流法是通过对图像光流场的分析,建立运动目标的像素模型,由于计算复杂,抗噪性不高故而用的很少。文献[4]利用动态阈值的四帧差分算法,文献[6]利用六帧差分算法,求得的结果与高斯混合模型进行“或”运算,虽然提高了运动目标的检测效果,但是无法去除当运动目标过快无法检测到真实轮廓的问题。针对上述问题,本文改进了边缘信息和混合高斯模型融合的算法。利用完整的边缘信息与混合高斯模型求得的前景进行“与”运算,经过形态学处理和孔洞填充后不仅克服了噪声干扰,而且也消除了因光线和运动状态带来的轮廓变形等问题。实验结果表明,优化的融合算法结合了两个算法的优点,具有更好的鲁棒性。
1 边缘信息提取
1.1 传统三帧差分
基本原理:对视频序列中连续的三帧图像进行处理,相邻两帧进行差分并对差分图像求取均值,最后进行二值化处理得到运动目标。传统三帧差分法原理流程图如图1所示。
图1 传统三帧差分法原理流程图
用公式来表示:
Dk(x,y)=|Ik(x,y)-Ik-1(x,y)|
(1)
式中,Dk(x,y)为差分图像,Ik(x,y)、Ik-1(x,y)分别为第k和k-1帧原始图像。对差分后求取均值的图像进行二值化处理即可得到前景图像:
(2)
1.教学计划的调整是培养学生的蓝图,是教学工作的总体要求,制定好的计划是确保教学质量的中心环节。开课前,要求专业课老师制定出课程计划,在充分了解学生的基本情况下,实事求是地对课程计划作相应的调整,使课程设置体现出针对性和适应性。对“从事教师行业”的师范生在专业课上要重点培养,对“从事其他行业”的师范生可适当降低要求,做到重点突出,层析分明;为适应将来工作需要,注意强化手段,拓宽专业面,学习主体的横向内容广泛,把横向的综合知识和纵向的点面知识组合起来。
1.2 改进的三帧差分法
基本原理:对视频序列中连续的三帧图像进行处理,每两帧图像进行差分,将3次差分的图像进行“或”运算并进行二值化得到前景图。对三帧图像中的中间帧进行canny边缘检测来获得完整的边缘,将该图与差分得到的前景图再次进行“或”运算并进行形态学处理后得到运动目标。改进的算法强化了前景轮廓,并未后续的运算做了铺垫。改进的三帧差分法流程图如图2所示。
根据上述的判断已经得到背景模型,通过与背景的差分即可得到运动目标:
图2 改进三帧差分法原理流程图
传统三帧差分法与改进算法的实验图像来自于测试视频camera1,实验结果如图3所示。
图3 传统三帧差分法和改进算法的实验结果
混合高斯模型是一种基于背景建模的算法,它是单高斯模型的延伸,对一帧图像的每一个像素点建立K个高斯分布,K∈(3,7)。对于t时刻,某一像素点的记录值为Xt=It(x,y),则该点属于背景模型的概率密度函数表示为:
2 混合高斯模型
2.1 初始化
其中,a、b、c为视频中的第107、108、109帧,d、e为两次实验的结果。通过实验表明,改进后的算法较传统算法增强了图像的边缘效果,轮廓更加的清楚,为之后的提取做出了很好的铺垫。
ωi,t+1=(1-α)·ωi,t+α
BP神经网络是一种多层前向神经网络,由于学习算法采用BP算法而称之为BP神经网络[7-8]。多层BP神经网络由输入层、隐含层及输出层构成,输入信息经输入层前向传输至隐含层,经激励函数(传递函数)运算处理后获得隐含层的输出结果,再将该结果传输至输出层,同样利用激励函数对上一层的输出结果进行运算处理,获得神经网络的最终计算结果。传统BP神经网络对连接权值的修正通常采用误差反向传播算法,根据误差大小调整隐含层与输出层的连接权、输入层与隐含层的连接权,使得最终计算结果与期望输出结果的误差满足设计要求。BP神经网络目标函数[7-8]
(3)
(4)
式中,ωi,t、μi,t、∑i,t分别为t时刻第i个高斯分布的权重大小,均值,协方差,n为像素点It(x,y)的维数。
式(2)中,Tk(x,y)为二值化后的前景图像,T为分割的阈值。
(5)
(6)
式中,σi,t为高斯分布的方差,I为单位矩阵。
2.2 背景判断及参数更新
将权重从大到小依次排列,取前B个作为背景模型。
(7)
t时刻,若像素点It(x,y)满足|It(x,y)-μi,t-1|<2.5σi,则认为该点是背景点,并按公式(7)、(8)、(9)进行参数更新:
2018年云南电网按照南方电网公司精益管理的要求,把坚持党的领导、加强党的建设与推进安全生产、经营管理深度融合,在部分供电单位和施工单位开展安全生产、客户服务、项目管理领域党组织、党员发挥作用试点,在非试点单位开展党的建设精益项目(书记项目)探索,同时,开展党的建设精益化管理咨询项目和党支部标杆管理课题研究,提炼总结开展党的建设精益管理的经验和做法。
(8)
三是强化科学调度,及时拦洪削峰和抗旱补水。国家防总及各流域防总、各级防指科学调度骨干水利工程,充分发挥其防洪抗旱减灾作用。科学调度东北地区尼尔基、丰满、白山、察尔森等大型水库拦蓄洪水60亿m3,其中尼尔基水库将嫩江上游超50年一遇洪水削减为不足20年一遇,白山、丰满水库将松花江上游超20年一遇洪水削减为一般洪水。通过外交渠道协调俄罗斯减少其境内水库下泄流量,缓解了黑龙江干流我方的防洪压力。调度三峡、小浪底等水库为下游抗旱补水,实施了引江济太、引黄入冀和珠江枯水期水量统一调度,保障城乡供水安全。
μt=(1-β)·μt-1+β·Xt
(9)
(10)
式中,α为学习率,β为参数更新率。不匹配的分布按公式(11)进行更新:
式(9)中,e1,e2分别为摆角控制误差及其控制误差的导数;r,h分别为速度因子和精度因子;c为相应的控制参数.
ωi,t+1=(1-α)ωi,t
(11)
如果都不匹配,若高斯分布个数小于K时,创建一个新的分布;若分布个数等于K时,按优先级大小对优先级小的用新的分布进行替换。
2.3 前景提取
随着经济全球化的发展,中美双边贸易取得了极大的进展,但是金融危机的爆发使世界经济进入到了一个调整期,中美两国产业政策的调整加剧了中美双边贸易的不平衡性,目前中美两国之间的贸易摩擦主要集中在中国不具优势的技术知识领域和中国具有优势的出口领域。中美贸易摩擦对我国的经济发展带来了许多的负面影响,缓解中美贸易摩擦,推动我国对外贸易的发展已经成为了我国经济发展的重要内容。
Dt(x,y)=|It(x,y)-Bt(x,y)|
(12)
3 本文算法
由于三帧差分法对运动缓慢的目标难以提取完整的轮廓,而canny边缘检测能够很好的提取图像的整个边缘,对差分法和边缘检测进行“或”运算来增强运动目标边缘的检测效果。虽然该方法提高了边缘检测效果,但对于晃动的树枝和飘落的树叶也会被检测出来,这些通常不是前景的范畴。混合高斯模型具有很好的鲁棒性可以解决这个问题,但是对于运动速度快的目标,该算法会出现重影的问题。针对这些问题,本文对提高了边缘检测效果的三帧差分法和高斯混合模型进行“与”运算,既解决了目标运动速度慢时轮廓不完整的情况,也消除了目标运动速度快时出现重影的问题。对融合的图像进行形态学处理和孔洞填充,即可得到完整的运动目标。算法流程如图4所示。
这家大概主要靠门市外卖,只装着寥寥几个卡位,虽然阴暗,情调毫无。靠里有个冷气玻璃柜台装着各色西点,后面一个狭小的甬道灯点得雪亮,照出里面的墙壁下半截漆成咖啡色,亮晶晶的凸凹不平;一只小冰箱旁边挂着白号衣,上面近房顶成排挂着西崽脱换下来的线呢长夹袍,估衣铺一般。
图4 算法流程图
4 实验结果与分析
本文所有实验的硬件测试平台为2.6 GHz CPU,8 GRAM,Windows 64位PC机,软件实现平台为VS2015和OpenCV3.1.0。本实验中图像来源于国外标准测试视频,网站ftp://ftp.cs.rdg.ac.uk/pub/PETS2001/,检测结果如图5所示。
图5 实验检测结果
图5实验结果中,a中前两帧图像为测试视频camera1的第108帧和297帧,后一帧为测试视频camera2的第258帧,三帧图像均为转换为灰度后的图像。b中传统的三帧差分法对目标的运动状态和光照及其敏感,无法完整的检测出运动目标的轮廓。c中改进的帧间差分法虽然强化了边缘的检测效果但同时也引入了噪声,对于光线较弱的图像,边缘强化效果也不明显。d中混合高斯算法具有较好的鲁棒性,可以抑制噪声且对运动目标的检测效果较前两种算法明显提升,但是对于运动速度较快的目标会出现重影现象,导致轮廓发送变形进而不能辨别出运动目标。e中本文算法将两种算法相融合,利用混合高斯算法的鲁棒性来抑制了噪声,提升检测效果,利用canny算子 对轮廓的限定来去除图像中出现的重影现象,从而得到完整的运动目标。
通过识别率DR以及误检率FAR对以上4种算法的效果和准确度进行对比,DR与FAR的计算公式如下:
(13)
(14)
式中,TP为正确检测到的运动目标像素数,FN和FP分别为未检测到的和错误检测到的运动目标像素数。本次实验进行了50次测试,检测结果为抽取视频中的100帧图像求取的平均值,如表1所示。
表1 不同方法的DR与FAR
实验DRFAR传统帧差0.4960.079改进帧差0.7230.087高斯混合0.8120.154本文算法0.9270.058
从表1中可以看出,传统帧差法的识别率最低。改进帧差法虽然增强了识别率但同时引入了噪声也增加了误检率。高斯混合识别率较前两种算法大幅度提升,但是由于出现重影导致误检率也大幅度增加。本文算法无论是识别还是误检,性能都最为优越。
一天,我正茫然走在大街上时,突然看到了小满。我正要喊她时,不知为什么,小满突然全身着起了火。火势在小满的周身上下蔓延着,小满被烧得在地上痛苦地翻滚……不一会儿,伤痕累累的小满被一辆救护车载着呼啸而去。
为了得到算法的时间复杂度,采用视频的总时间与总帧数之比求得的每帧平均时间来进行衡量,如表2所示。
表2 不同算法的时间复杂度(单位:s)
实验传统帧差改进帧差高斯混合本文算法时间0.02420.03450.03610.0458
从表2可以看出,由于本文算法为融合算法,所以时间复杂度上较其它方法稍微提高了一些,但是并不影响实时性。
用比较文学的方法来研究鲁迅的作品,由来已久,从最早的上世纪20年代赵景深的影响研究的论文《鲁迅与柴霍夫》算起(注:柴霍夫,现译为契诃夫),迄今已近百年,相关专著和论文已经是汗牛充栋。很早就有学者注意到俄苏文学对鲁迅创作的影响,之后,鲁迅同日本文学、德国文学、英国文学、东欧各国文学之间关联的学术论述也不断出现,对鲁迅的比较文学研究也蔚为大观。
综合算法的时间复杂度和检测效率,本文算法可以获得更好的检测结果。
5 结 语
本文利用canny算子增强边缘信息后的三帧差分法与混合高斯模型相融合,通过形态学处理和孔洞填充后得到完整的运动目标。该算法有效的解决了噪声干扰和目标运动状态所带来的重影问题,提升了运动目标的检测效果。
参考文献:
[1] 周同雪,朱明. 视频图像中的运动目标检测[J]. 液晶与显示,2017, 32(1):40-47.
[2] WANG X P, GUO L Q. Highway traffic video detection method[J]. Journal of Computer Applications, 2012, 32(6):1585-1588.
[3] HAO H G, CHEN J Q. Moving Object Detection Algorithm Based on Five Frame Difference and Background Difference[J].Computer Engineering, 2014, 50(23):176-180.
[4] 郭伟,高媛媛,刘鑫炎. 改进的基于混合高斯模型的运动目标检测算法[J]. 计算机工程与应用, 2016, 52(13):195-200.
[5] 刘静,王玲. 混合高斯模型背景法的一种改进算法[J].计算机工程与应用, 2010, 46(13):168-170.
[6] 陆冰,王玲玲,裴东. 基于混合高斯模型和六帧差分的目标检测算法[J]. 红外与激光, 2016, 46(2):240-244.
[7] 杜鹃,吴芬芬. 高斯混合模型的运动目标检测与跟踪算法[J]. 南京理工大学学报, 2017, 41(1):41-46.
[8] 屈晶晶,辛云宏. 连续帧间差分与背景差分相融合的运动目标检测方法[J]. 光子学报, 2014, 43(7):213-220.
[9] 曹明伟,余烨. 基于多层背景模型的运动目标检测[J]. 电子学报, 2016, 44(9):2126-2133.
[10] 周建英,吴小培,张超,等. 基于滑动窗的混合高斯模型运动目标检测方法[J]. 电子与信息学报, 2013, 35(7):1650-1656.