更全的杂志信息网

海上监控视频实时去雾算法研究

更新时间:2016-07-05

雾和霾是海上常见的天气现象,雾和霾等恶劣天气致使海上能见度下降.船舶航行在能见度受限的水域或附近时,船舶监控设备获取的视频流受到雾霾天气的影响,质量严重下降,致使船舶驾驶员对远处的海上目标的细节辨识能力下降[1].因此,对船舶监控视频流进行实时去雾研究,可以提高船舶监控设备工作的稳定性,进而为船舶驾驶员在雾中航行提供视觉信息的增强.近些年,国内外学者对单幅图像去雾展开了广泛的研究.而单幅图像去雾在数学上是一个病态的问题,需要借助一些强有力的先验知识,才能解决单幅图像的去雾问题[2].Tan等[3]通过最大化图像局部的对比度来达到有雾图像的复原;Fattal等[4]通过假设光的传播和场景物体表面遮光是局部不相关,并由此估算出场景的辐射度和介质透射率.He等[5]提出暗黑通道先验知识,利用该先验知识初步估计场景透射率,然后利用软抠图实现透射率的细化,最终根据退化的物理模型实现图像去雾,但该算法软抠图部分消耗大量计算时间.He等[6-7]在此基础上对透射率细化展开研究,并提出快速实现透视率细化等一系列方法.Codruta等[8]提出基于单幅图像半反快速去雾算法,但该文献没有给出去雾算法中参数的实际取值.刘倩等[9]提出基于单幅图像快速去雾算法,该算法利用均值滤波对环境光和大气光进行估计,算法简单有效,能够较好地实现岸上图像的去雾.

本文在已有研究的基础上,对刘倩等[9]提出的基于单幅图像的快速去雾算法进行深入研究后,发现该算法能够解决单幅图像实时去雾问题.根据海上图像具有大面积天空和海水以及图像中雾气较多等特征,对其算法中的参数依据航海目标细节恢复程度和图像对比度等因素进行估计,为将该算法应用于海上监控视频的实时去雾打下基础.

1 雾天成像物理模型

在计算机视觉和计算图形学等领域广泛采用以下雾天成像模型[10]

本研究对比了麦麸粒径对空白及加酶全麦面团流变特性及全麦馒头的品质的影响。研究发现,全麦面团的流变特性和全麦馒头的品质与麸皮的粒径大小密切相关。对于空白全麦馒头,以中等粒径麸皮制得的产品品质最好;粗麸面团延展性差,产品口感粗糙;麸皮粒径减小,面团吸水率增大、稳定时间及弱化度下降,馒头的弹性、韧性和粘性评分均显著降低。添加复合酶对不同粒度全麦面团延展性、膨胀能力和发酵性能均有改善作用,显著改善不同粒径全麦馒头的感官品质。对于加酶全麦馒头而言,粗麸和中麸馒头感官评分相当,且显著优于细麸馒头。

对照组患儿实施常规治疗,即选择健胃消食口服液(批准文号为国药准字Z20030094;商品名称:健胃消食口服液;商品规格:10毫升×6支;生产厂家为江苏济川制药有限公司)进行口服,3岁以内的患儿每天用药2次,每次用药5ml,3-6岁的患儿每天用药2次,每次用药10ml,6岁以上的患儿每天用药2次,每次用药20ml,连续用药1周为1个疗程,本次用药1个疗程。

I(x)=J(x)t(x)+A(1-t(x)),

(1)

式中:I(x)为有雾图像在像素点x处的RGB值;J(x)为无雾图像在像素点x处的RGB值;t(x)=e-β d(x),其中t(x)为场景的透射率,即光线透过媒介透射到视觉系统没有被散射的部分,β为消光系数,d(x)为场景的景深;A为全局大气光,亦可表示为(Ar,Ag,Ab),且在整幅图像中保持恒定,取值范围为:0<A≤255, 通常表示大气、天空的颜色值;J(x)为无雾图像场景的辐射度;J(x)t(x)为直接衰减项,描述光线通过媒介的衰减情况;A(1-t(x))为大气光的散射项,该项会导致场景颜色的整体偏移.去雾的目标就是通过给定的有雾图像的强度I(x),恢复出J(x),At(x).对于N个像素的彩色图像I,已知Ir,Ig,Ib,共3N个已知量,未知变量J(x)的个数为3Nt(x)的个数为NA的个数为3,共有4N+3个未知变量.方程组的个数为3N,所以通过单幅图像去雾成为一个病态的问题.

2 基于不等式缩放的视频流实时去雾

对上式右侧进行方形滤波可得

2.1 透射率的估计

由于式(1)中J(x)t(x)≥0,故可以得出

此教学设计模式的具体实现需要依赖教师已有的教学设计经验,同时又能提升教师教学设计的能力,并在具体的行动中使教师“以教师为中心”的传统教学设计观发生改变,更重要的是其为翻转课堂的中国化提出了具体、有效、可实施的参考模式,是走出中国式翻转困境的一项“处方性”方案,在促进教学观念的过程中使翻转课堂不断与我国国情更深入地契合,并在教师设计能力提升的良性循环中创新我国自己的“翻转课堂”。

A(1-t(x))≤I(x).

(2)

对于式(2)两端同时取三通道最小值并记

式中c为颜色通道索引,则式(2)可化为

Amin(1-t(x))≤M(x).

(3)

由式(3)可得透射率t(x)

t(x)≥1-M(x)/Amin

(4)

式中:随着深度d(x)的增大而减小,t(x)越小表示像素点x处景物反射光的衰减程度越大.t(x)与景物的深度d(x)变化呈一定的相关,即t(x)随着景物深度d(x)变化跳跃而跳跃.

学术性数据库在“研究性教学”中的意义——新时代语境下本科生“学术性学习”研究系列之一 ………………… 简圣宇(2/62)

海上监控摄像头在雾天采集的视频流是由一帧帧单幅图像组成,且视频流以25帧/s显示图像.要满足视频流实时去雾的要求,必须使得单幅图像去雾所用的时间在40 ms左右,这样经过去雾后的视频流才能连续显示.因此视频流实时去雾算法的研究,主要体现在加速单幅图像的去雾.

周大毛说,看吧,这孩子迟早要犯事。唉,也难为驮子了,他娶了个常爱兰,常爱兰随身带着个炸药包。现在这炸药包还小,以后这炸药包大了,不要把天炸出个窟窿来。

(5)

式中:F为方形滤波;sa为均值滤波窗口的尺寸;Ω(x)为以像素点x为中心的sa×sa的正方形邻域.均值滤波后的结果能大致反映透射率t(x)的变化,但与真实的t(x)仍相差一定的值,因此需要对均值滤波后的结果进行修正,具体如下

(6)

式中φ∈[0,1]为修正系数.此处记:λ=1-φ,当λ取值较小时,透射率取值较大,恢复出的图像整体残留雾气较多,故图像整体亮度偏白;λ取值较大时,透射率取值偏小,恢复出的图像整体亮度偏暗.因此,为了防止图像整体亮度偏白或者偏暗,设置λ的取值如下

λ=ρ mav

(7)

式中:ρ的取值范围为:0≤ρ≤1/mavmavM(x)中所有元素的均值,具体关系如下

(8)

式中N为输入图像的像素总个数.由于mav的大小具体取决于输入有雾图像,这使得λ能够自动调节去雾后图像的整体亮度.若输入有雾图像整体亮度越偏暗,mav越小,则λ越小,故相应的透射率t(x)将变大,这使得去雾后图像整体亮度不至于过于暗淡;反之亦然.

[1] 吴兆麟,赵月林.船舶值班与避碰[M].大连:大连海事大学出版社,2008:132-138.

(9)

2.2 全局大气光的估计

文献[6]中选择输入图像亮度最大值作为全局大气光的估计,这往往导致恢复后的图像局部过于明亮.文献[8]先从暗通道中选取0.1%的最亮的像素点,然后在原有雾图像中找出这0.1%最亮像素点的最大的灰度值作为对全局大气光的估计.该方法对全局大气光的估计往往鲁棒性很强,但通过该方法获取全局大气光往往比较耗时,不利于去雾算法的实时性.本文估计全局大气光将采取如下步骤.

简短的宣誓仪式后,我们沿路折返。抬头望去,太阳灿烂而耀眼,天空澄明而透亮,雪山纯净而巍峨,大地静默而厚实。这是真实的所在,我们不忍打破这静谧,沉默着步履匆匆地行进,却在心底涌动着爱的热流。离乡万里来援疆,我只是一位平凡的教师,是这天地中的一粒微尘,我愿在疏附二中的三尺讲台上,像那石头小屋般驻守,为我的学生们留一盏爱的心灯。

式(10)中左侧的表达式取值范围一般为[0,1],故可得

Amin≥max(FsaM(x)).

(10)

一般情况下,

(11)

上述对透射率t(x)和全局大气光A的估计都涉及到均值滤波窗口尺寸sa,所以当选择不同的sa时,得到的透射率t(x)和全局大气光A也将不同,因此,最终恢复的图像J(x)的效果也因选择不同的sa而发生改变.对于船舶驾驶员在雾天航行来说,往往比较关心远方的航行目标的细节清晰度.因此选择合适的均值滤波窗口尺寸sa,将对船舶驾驶员准确识别远方的航行目标起着重要的作用.本文从采集的一组海上雾天图像中选取具有代表性的一幅图像进行去雾.去雾算法使用的调节亮度参数ρ统一设置为1.2,sa分别取3,15,31.经过去雾算法之后的效果如图2所示.

无机2013,2014,2015级晶体学课改班与对比班成绩统计见表3.由表3可见,无机2013,2014,2015级课改班期末平均成绩分别为65.00,66.30,72.40分,对比班期末平均成绩分别为60.50,63.12,69.50分.课改班比对比班期末平均成绩分别高4.50,3.18,2.90分.无机2013,2014,2015级期末平均成绩和总成绩逐年提高,说明课改效果显著,满足了学生个性化学习需要,促进了自主学习和知识内化过程,因此学习成绩比对比班有明显提高.

(1-ε)max(EsaM(x)),

(12)

式中E为均值滤波,ε∈[0,1].由于ε一般很难获得其精确的估计,考虑算法的实时性和实施的方便性,取ε=0.5,则式(13)可化为

5)1985-2016年,巢湖流域有4个评价单元为正值,4个评价单元为负值,表明该时间段内巢湖流域土地利用程度呈双向变化,土地利用程度变化较大的地区为含山和巢湖,说明这2个地区的土地利用受人类活动的影响较大。

(13)

因此全局大气光A的估计如下

A=[Amin Amin Amin]T.

(14)

2.3 视频流实时去雾算法流程

在上述得到对透射率t(x)和全局大气光A的估计后,可以很容易恢复出无雾图像J(x),具体如下

4)病虫防治。清除梨园枯枝落叶,剪除病虫枝,刮除老翘皮,并将其集中烧毁或深埋;入冬前,用谷草做1~2个小草把,诱引害虫在草把上越冬。开春时将草把集中烧毁。落叶后至发芽前,梨园喷2~3波美度石硫合剂1~2次,药渣可用于刷白树干。

(15)

本文关于图像实时去雾算法的流程图如图1所示.

图1 视频流实时去雾流程图 Fig.1 The schematic diagram of video real-time dehazing

3 去雾实验结果及其参数分析

由上述推理可知,该算法的去雾效果与均值滤波窗口的尺寸sa、调节亮度参数ρ等相关.因此,将根据海上监控视频图像的特征,研究不同尺寸sa和参数ρ对去雾后图像中的航海目标细节辨识清晰度的影响,并设法给出这两个参数的合适取值,从而为实现航海视觉增强系统中的实时去雾模块打下基础.

3.1 均值滤波窗口的尺寸

由式(12),Amin还可表示为

图2 不同均值滤波半径去雾效果对比图 Fig 2 The comparison effect of dehazing in different radius of box filter

宗教对文学的影响,属于比较文学的跨学科研究的范畴。在文学产生和发展的过程中,宗教曾经起过重要作用;宗教会对作家世界观发生影响,进而影响到文学作品的思想内容,有些重要的宗教经典,如《圣经》,本身就是文学作品,或者取自文学作品。[1]274-275

3.2 调节亮度系数ρ

调节亮度系数ρ的取值直接影响着参数λ的取值,当调节亮度系数ρ增大时,参数λ也随之增大,反之亦然.由2.1分析知参数λ增大时,去雾后的图像整体亮度偏暗,参数λ减小时,去雾后图像的整天亮度偏强.因此,选取合适的调节亮度系数将对去雾后海上图像中的航海目标细节辨识清晰度产生重要影响.取均值滤波窗口大小为sa=15,ρ分别取0.8,1.2,1.6,2.0,然后选取一幅具有代表性的海上雾天图像进行去雾分析,结果如图3所示.

图3 不同调节亮度系数的去雾效果对比图 Fig 3 Comparison effect of dehazing in different parameters of adjusting brightness

对于输入同一幅有雾图像,调节不同的参数ρ进行去雾,明显发现:当ρ取0.8时,去雾后图像标识的两个远方船只的细节辨识清晰度比ρ取1.2,1.6,2.0要差,且去雾后图像残留的雾气较多;而ρ取1.2,1.6,2.0时,得到的3幅去雾后的图像标识的远方船只的细节辨识清晰度相差比较小.一般当0≤ρ≤0.9/mav时,随着ρ的增大,去雾后的图像整体亮度越暗淡;当ρ≥0.9/mav时,ρ的调节作用将失效.一般对于同一幅有雾图像而言,mav保持不变,这样只有ρ发挥调节亮度的作用,但mav的取值随着输入有雾图像的不同而不同.因此,综合上文分析,一般ρ的取值为1.2比较合适.

3.3 去雾实验结果及其分析

本文使用Intel(R) Core(TM)2 Duo T657@ 2.10 GHz的微机,基于Microsoft VS2008和Intel OpenCV1.0视觉计算开源库进行去雾实验.实验所采用的图像和视频均源自某轮海上航行采集.其中图像的分辨率统一采用768×510,视频的分辨率为640×480.去雾算法中的均值滤波的尺寸和调节亮度系数,统一取15和1.2,将本文算法去雾所用的时间和去雾后图像的效果与文献[5]、文献[8]提出的去雾算法进行比较和分析,如图4所示.

当存储货物质量较大、货架重心较高,存在安全隐患时,可采用结构稳定性原则占主导的复合货位优先级,即在符合结构稳定性原则的前提下,同行货位根据其出库时间、按照存储效率优先原则设定优先级,图2d所示为结构稳定性原则占主导的复合货位优先级示例图。

从图2中可以看出,均值滤波窗口半径sa=3时,图2(b)中间和最右边标识的船只视觉辨识清晰度比使用图2(c)和图2(d)要差.而图2(c)和图2(d)的中间和最右边标识的船只视觉辨识清晰度相当.因此,在实际去雾中一般使用sa=15较为合理,且去雾效果不错.

图4 去雾效果对比图 Fig 4 Comparison effect of haze removal

去雾所用时间的对比可以在一定程度上反应算法计算复杂度的差别.从表1可知,对分辨率为768×510海上有雾图像图4(a)4(e)4(i)进行去雾,本文采用的算法去雾时间在62 ms左右,接近40 ms,其运算时间为文献[8]方法的50%左右,为文献[5]提出的去雾算法的6%左右.对于分辨率为640×480的视频流,采用本文算法进行去雾并显示,可以达到17~18帧/s.图像灰度标准差反应了图像整体的灰度分布和黑白反差,其值越大,图像中黑白反差越大.从表2可知,本文采用的去雾算法相对于文献[5]的方法,提高了图像灰度标准差,并与文献[8]的方法相当.图像平均梯度(GMG)反应了图像对比度、细节反差和纹理变化程度,其值越大,表明图像的细节越丰富,纹理越清楚,图像质量越好.从表3可知,本文采用的去雾算法相对于文献[5]和文献[8]提出的去雾方法,提高了复原后图像的平均梯度指标.从去雾后视觉效果来看,图4(d)4(h)4(l)复原后图像的航海目标清晰度、图像色彩和对比度相对于图4(c)4(g)4(k)有明显的提高,并与图4(b)4(f)4(j)恢复的图像视觉效果相当.

表1 去雾所用时间对比 Tab.1 Comparison of cost time of haze removal

有雾图t/ms文献[5]文献[8]本文图4(a)98412562图4(e)98512563图4(i)98512660

表2 图像灰度标准差对比 Tab.2 Comparison of images standard deviation

有雾图原图文献[5]文献[8]本文图4(a)51.9951.0261.7760.52图4(e)53.4150.5163.4161.38图4(i)52.3848.9862.1660.57

表3 图像灰度GMG对比 Tab.3 Comparison of images GMG

有雾图原图文献[5]文献[8]本文图4(a)9.9211.5111.7314.38图4(e)9.3810.7011.0713.53图4(i)7.068.038.3210.63

4 结束语

本文对海上监控视频流实时去雾展开了研究,对单幅图像中的透射率与全局大气光进行了不等式缩放估计,避免了利用文献[5]提出的暗黑通道先验知识结合透射率细化的去雾算法框架.实验结果表明该去雾算法所用的时间是文献[5]算法所用时间的6%,但取得的去雾效果从主观评价上与文献[5]相当,从客观评价上优于文献[5]的方法;并且对于分辨率768×510的图像,本文采用的去雾算法去雾时间为60 ms左右,可以满足去雾后视频流的实时显示,解决了视频流实时去雾问题.但船舶航行在浓雾天气下,该去雾算法不能很好的恢复出航海目标的细节特征,今后将对浓雾天气下视频的实时去雾展开研究,以提高去雾算法的鲁棒性.

参考文献:

为保证φ为正值,且不至于过小,需要对λ的上限进行设置,这里设置上限为0.9,即λ=min(ρmav,0.9),联立式(4)(7)可得

Wu Zhaolin,Zhao Yuelin.Collision avoidance and ship watching[M].Dalian:Dalian Maritime University Press,2008:132-138.(in Chinese)

[2] 郭璠,蔡自兴,谢斌,等.图像去雾技术研究综与展望[J].计算机应用,2010,30(9):2417-2421.

Guo Fan,Cai Zixin,Xie Bin,et al.Image defogging:a survey[J].Computer Application,2010,30(9):2417-2421.(in Chinese)

[3] Tan R.Visibility in bad weather from a single image[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Washington D.C.:IEEE,2008:2347-2354.

在上述基础上,当换流站的两端无法为直流线路潮流提供有效的电压和功率调节条件时,需要额外引入一个直流潮流控制器,目的在于保证输电线路潮流能够得到有效的调节。具体的外接方式如图1所示。

[4] Fattal R.Single image dehazing[J].ACM Transactions on Graphics,2008,27(3):721-729.

[5] He K,Sun J,Tang X.Single image haze removal using dark channel prior[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Washington D.C.:IEEE,2009:1956-1963.

[6] He K,Sun J,Tang X.Guider image filtering[C]∥Proceedings of European Conference on Computer Vision(ECCV).[S.l.]:Springer,2010:1-14

[7] He K,Sun J,Tang X.Fast matting using large kernel matting Laplacian matrices[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR).San Francisco,California,USA:IEEE,2010:2165-2172.

[8] Codruta O A,Cosmin A,Chris H,et al.A fast semi-inverse approach to detect and remove the haze from a single image[C]∥Proceedings of Asian Conference on Computer Vision(ACCV).New Zealand:Springer,2010:501-514.

[9] Liu Qian,Chen Maoyin,Zhou Donghua.Fast haze removal from a single image[C]∥Proceedings of Control and Decision Conference(CCDC).Guiyang:China,2013:3780-3785.

[10] Oakly J P,Satherley B L.Improving image quality in poor visibility conditions using model for degration[J].IEEE Transaction on Image Processing,1988,7(2):167-179.

神和龙,尹勇,夏桂林,唐皇
《北京理工大学学报》2018年第4期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号