更全的杂志信息网

基于光度值比例关系的HDR鬼影消除算法

更新时间:2009-03-28

高动态范围(High Dynamic Range, HDR)图像可以记录真实场景的亮暗细节信息,具有非常大的亮度范围。因为当前的专业HDR设备[1-2]非常昂贵,所以最直接的方法就是将同一场景多幅不同曝光度的图像直接融合成一幅HDR图像,即多曝光融合[3]。然而,多曝光融合算法需要保证场景是静态的,一旦场景中包含移动的物体或相机抖动时,融合的图像中会出现鬼影。即使采用带有自动曝光装置的现代相机,帧间捕捉时间也足以引起明显的物体位移。

本文拟提出一种基于亮度值和曝光时间线性比例关系的鬼影消除算法,将不符合光度值的比例关系的像素检测出来作为鬼影区域,然后重新定义多曝光融合时的权重函数,并在不同动态场景进行验证。

1 相关工作

基于参考图像的鬼影消除算法有很多,如早期的光流法、基于误差图的阈值检测法、基于熵图的阈值检测法等。但这些算法大多无法检测到具有较少纹理信息的运动物体,并且对阈值非常敏感。Gallo等[4]提出了基于图像块的检测方法,通过RANSAC过程检测异常的鬼影,并采用泊松融合消除图像块边界的不连续性。Raman等[5]将像素聚合为超像素得到不规则的图像块,对像素数据导出一种数学模型来检测鬼影区域。这类方法消除鬼影效果较好,但是在亮度相差很大的邻块处会产生较明显的缝隙(seam)。Pece等[6]利用基于中值门限位图(MTB)检测鬼影区域,Min等[7]基于多级门限直方图进行检测鬼影。然而不管是中值门限位图还是多级门限图,当存在大片欠曝光或过曝光区域时,检测的鬼影像素会不准确。

近年来,鬼影消除算法成为HDR领域的一个研究热点,效果最好的鬼影消除方法有三种。Zhang等[8]提出的基于梯度方向的算法。由于静态区域每个位置的像素亮度值梯度方向是保持不变的,分别计算出每幅图像与参考图像在每个像素处的梯度方向角的差值,采用这个差值大小确定在每个像素处的权重值。该鬼影消除算法简便高效,不过如果参考图像的移动物体区域是包含过曝光和欠曝光区域的时候,效果不佳,因为此时梯度方向不确定。Sen等[9]通过HDR图像合成方程进行对齐过程与重建过程的联合优化,使得生成的图像能够对齐到参考图像并且包含所有输入图像的细节信息。但是此方法在过饱和区域的处理质量不好。Hu等[10]利用图像块匹配将每幅图像的移动物体区域对齐到参考图像的形态,然后进行融合。该算法即使在过饱和的区域也可以进行有效的对齐和细节的恢复,但有时会由于匹配错误造成纹理扭曲,使生成的图像不自然。

我科2016年1月至2016年12月收治的88例糖尿病符合糖尿病的临床诊断标准,(1)患者均出现食量大增、大量饮水、多尿、体重锐减等症状。(2)患者空腹血糖、餐后2小时血糖、糖化血红蛋白含量均明显高于正常人。排除标准:①排除患有听力障碍的患者[3]。②排除患有精神系统疾病的患者。③排除患有认知功能障碍以及情感障碍的患者。

2 算法模型描述

2.1 算法原理

本文针对以前的光度值顺序关系算法的缺点,提出了一种基于光度值比例关系的HDR鬼影消除方法,生成了高质量的多曝光融合图像。实验表明,本文的算法比传统的光度值顺序关系法检测出的鬼影区域更加完整,获得了令人满意的去鬼影的融合结果。本文的算法也可以应用于相机抖动或没有配准的动态场景。后续我们将把所提出的鬼影消除算法进行GPU并行加速处理,进一步提升算法的效率。

[6] Pece F, Kautz J. Bitmap movement detection: HDR for dynamic scenes[C]. NewYork: IEEE CVMP, 2010: 1-8

  

(a) 5幅输入图像 (b) 融合图像 图1 基于光度值顺序关系的方法失败图例

2.2 算法步骤

1)鬼影区域检测。本算法通过检查光度值的线性比例关系来检测鬼影区域,而不是仅利用N幅输入图像之间的顺序关系。标记出至少一次违背线性比例关系的像素。如果采用普通相机进行拍摄,没有记录输入图像的曝光时间设置参数,也就是曝光时间t是未知的,计算所有像素的平均亮度作为曝光时间的度量,这是因为当移动物体占整个场景的小部分时,像素的亮度值与曝光时间是近似成正比的。根据光度值线性比例关系,同一位置的像素(x,y)在第k幅和第k-1幅连续输入图像之间满足如下关系:

参考文献:

为了得到更精确的鬼域区域检测结果,我们也结合光度值顺序关系来获得Qx,y,k。另外,只有当像素被曝光状况良好时,光度值线性关系才有效。当某些区域接近过度曝光或曝光不足时,随着曝光时间的增加或减小,亮度值变化不大,因为它已达到饱和状态。亮度和曝光时间的线性关系已经被打破。因此,在检查连续两幅图像之间的光度线性关系时,丢弃曝光不足和曝光过度的像素。对于从0到255的像素亮度值,将亮度值在[40,220]之外的像素排除。如图2(a)展示了鬼影消除权重图。其中,白色代表鬼影区域的像素,黑色代表非鬼影区域的像素。这里只展示了第5幅输入图像对应的鬼影消除权重图。

定功率时,单位臭氧产量所需的平均费用如图2所示。由图2可知,40~60kW时,费用随着流量的增大而增大;而单位费用增殖速率却减小,分别为标准状态下0.091元/(kg·m3/h),0.063元/(kg·m3/h)和0.045元/(kg·m3/h),这同时也说明了在40~60kW时,功率越小,其增加的费用越明显;在70~80kW时,费用随流量的波动较小,维持在14.4~14.9元/kg臭氧;而在90kW时,单位费用则随流量的增加而减小,但其在30m3/h(标准状态下)的费用比其他功率大。当流量定为60m3/h(标准状态下)时,各功率所得出的费用结论与本研究中的3.1.3节所得出的结论相符合。

综上所述,中医护理干预应用于妇产科手术患者术后腹胀的护理工作中,能够显著改善患者的腹胀症状,提高患者的满意度,有较高的临床应用价值。

本研究对本文提出的算法进行验证,并且与当前最先进的三种基于参考图像的鬼影消除算法[8-10]进行比较。所有的实验都在的Intel内核3.30 GHz的i7-5820K CPU和32 GB内存的PC上运行。

2)多分辨率合成HDR图像。得到鬼影检测的权重图以后,进行多曝光融合。为了使多幅曝光图像无缝融合,本文采用基于拉普拉斯金字塔的多分辨率曝光融合方法[3]。该方法直接将多个不同曝光度的输入图像融合成高质量的HDR图像,而不需要获取摄像机响应函数和色调映射操作。

融合过程中,每幅图像的权重图除了根据原来的饱和度、对比度和曝光适中度这三种质量衡量因子之外,本文又加入了计算得到的鬼影消除权重Qx,y,k,计算权重图的公式如下:

Wx,y,k=(Cx,y,k)WC×(Sx,y,k)WS×(Ex,y,k)WE×Qx,y,k

其中,Cx,y,kSx,y,kEx,y,k分别为第k幅图像在像素(x,y)处的对比度、饱和度和曝光适中度这三种质量衡量因子。本文中我们设置因子权重WC=WS=WE=1。鬼影消除权重Qx,y,k的作用是使得移动物体区域像素的权重为0,即移动物体区域的像素是不参与融合过程。

根据计算出的新权重图进行多分辨率融合。将每幅输入图像分解成拉普拉斯金字塔,并建立每幅权重图的高斯金字塔,并通过逐层加权平均得到融合后的拉普拉斯金字塔。最后,重建加权平均后的拉普拉斯金字塔得到融合后的图像F。如图2(b)展示了本文融合后的图像。

3 实验结果及对比

3)多样性:多样性指的是结构多样化,它冲破了传统的数据采集使数据格式变得与以往不同,包括:音频、图片、微博、网页等。

在图像质量方面(图3),本文的方法可以比Zhang等的方法检测到更加准确的移动区域。与基于移动物体对齐的方法进行比较,本文的方法能够很好地处理过饱和的区域,而Sen等的方法不能做到对齐过饱和区域的像素,如图3(b)中的地面。Hu等的方法虽然能够很好地对齐过饱和区域的像素,但是会因图块匹配错误而导致纹理扭曲,生成了不自然的HDR图像,比如图3(c)中地面的颜色。而本文的方法不采用图块匹配策略,只用简单的光度值线性比例关系进行鬼影区域检测,所以生成的HDR图像比较自然,没有颜色或纹理的扭曲失真。

在运行时间效率方面(表1),本文的方法对5幅具有100万像素的输入图像大约需要10 s,与Zhang等的方法类似,比Sen等和Hu等的方法(两者需要复杂的迭代过程,耗时长达几分钟)快很多。

  

(a) 鬼影消除权重图 (b) 融合结果图像图2 鬼影消除权重图和融合结果 (a) Zhang等的方法 (b) Sen等的方法 (c) Hu等的方法 (d) 本文的方法图3 算法对比结果

 

表1 四种鬼影消除方法的运行时间对比 单位:s

 

 

图像大小(数量)Zhang等的方法Sen等的方法Hu等的方法本文的方法1024×668(5)5.265283.2102.805.634540×810(4)2.913157.895.433.0911080×1920(3)10.710201.8218.2011.360

4 结 语

随着曝光时间的增加,同一位置的像素的亮度值也随着变大。Sidibe等[11]根据此光度值顺序关系检测鬼影区域。处于静态场景位置的像素满足这个关系,而发生移动的区域像素亮度值会打破这个大小顺序关系,据此来检测鬼影区域。但是,某些像素满足光度值大小顺序关系,但仍造成鬼影,而该方法没有检测出来,原因是仅利用了光度值大小顺序关系会遗漏了一些发生移动的区域。如图1中所示,陀螺处虽然也满足了光度值顺序大小关系,但并没有作为鬼影区域被检测到,导致融合图像有很明显的鬼影。所以需要提出一种更精确的基于光度值比例关系的检测方法。

如果成像系统不理想,有一些摄像机噪声,光度值线性关系将受到影响。为了减少噪声的影响,将图像块作为检测单元,其中包含了当前的中心像素。我们采用一个9×9大小的块进行检测。如果块中超过5%的像素不满足光度关系,这个像素就被认为是处于移动物体区域。而低于5%的像素不满足关系被认为是由噪声引起的。本文的方法可以从输入图像中选择任意一幅参考图像。如果用户没有指定参考图像,将自动选择曝光适中的图像作为参考图像。

当场景中有移动物体时,移动物体区域的像素将不满足上述比例关系,K(x,y,k)将不再约等于1。此时,即被认为是移动物体的像素,将这个像素在第k幅图像中的权重设为0,以消除此处鬼影对最终融合结果的影响。并且将其余像素的权重置为1。用Qx,y,k来表示第k幅图像在像素(x,y)处的鬼影消除权重,如果K(x,y,k)<ε或者K(x,y,k)>1/ε,则Qx,y,k=0,即第k幅图像的此像素位置为鬼影区域;否则Qx,y,k=1,即第k幅图像的此位置为非鬼影区域。参数ε位于区间[0,1],本文中我们取ε=0.5。

[1] Seetzen H, Heidrich W, Stuerzlinger W, et al. High dynamic range display systems[C]. ACM, 2004, 23(3):760-768

[2] Tocci M D, Kiser C, Tocci N, et al. A versatile HDR video production system[C]. ACM, 2011, 30(4): 41

这两个例子都是反面意义的,但是刘勰却将其引用到文章中,意在以此证明此类的文章是不符合经典要求的撰写规矩,是不可取的。

[3] Mertens T, Kautz J, Van R F. Exposure fusion: A simple and practical alternative to high dynamic range photography[C]//Computer Graphics Forum. Blackwell Publishing Ltd., 2009, 28(1): 161-171

[4] Gallo O, Gelfand N, Chen W C, et al. Artifact-free high dynamic range imaging[C]//Computational Photography (ICCP), 2009 IEEE International Conference on. IEEE, 2009: 1-7

选择2016年9月—2017年2月我校90例影像专业学生作为研究对象,按照随机数字表法分为PBL组和CBL组,每组各45例,其中PBL组学生男25例,女20例,年龄20~25岁,平均(23.5±1.8)岁,CBL组学生男26例,女19例,年龄21~25岁,平均(23.8±1.7)岁,两组学生之间的基础信息差异无统计学意义(P>0.05),具有可比性。

[5] Raman S, Chaudhuri S. Reconstruction of high contrast images for dynamic scenes[J]. The Visual Computer, 2011, 27(12): 1099-1114

Mitsunaga等[12]提出了光度值关系理论,即图像中每个像素的亮度值是与场景的辐射度和曝光时间具有相关性的。假设拍摄系统是具有线性响应的理想情况,拍摄没有任何移动物体的静态场景时,成像系统所记录的亮度值I与曝光时间t成正比例的线性关系。即在任意位置(x,y)处有Ik,x,y=Cx,ytk。其中,tk是第k幅图像的曝光时间,Cx,y是在(x,y)位置亮度值和曝光时间之间的比例系数。

[7] Min T H, Park R H, Chang S K. Histogram based ghost removal in high dynamic range images[C]//Multimedia and Expo, ICME 2009. IEEE International Conference on. IEEE, 2009: 530-533

[8] Zhang W, Cham W K. Reference-guided exposure fusion in dynamic scenes[J]. Journal of Visual Communication and Image Representation, 2012, 23(3): 467-475

[9] Sen P, Kalantari N K, Yaesoubi M, et al. Robust patch-based HDR reconstruction of dynamic scenes[J]. ACM Trans. Graph., 2012, 31(6): 1-11

[10] Hu J, Gallo O, Pulli K, et al. HDR deghosting: how to deal with saturation[C]. Washington D.C.:IEEE CVPR, 2013

[11] Sidibe D, Puech W, Strauss O. Ghost detection and removal in high dynamic range images[C]//EUSIPCO′09: 17th European Signal Processing Conference. EURASIP, 2009: 2240-2244

人事档案就是一个工作人员的身份证,它是面试的敲门砖,档案将伴随我们整个职业旅程。所以单位的档案管理十分重要,但档案管理采集工作涉及的问题非常多,关乎到各个方面的内容,包括收集、整理、校对、调研、抽查和归档等内容。上述这些步骤将直接关乎到档案的真实性和可靠性,这些基础工作的内容必须要交给专门的人事负责人员,由工作人员统一整理,同时事情责任必须要落实到个人。

配合画展的《谭建丞山水册页精品集》收录了谭老山水画册页126件,是1968年到1972年期间所创作,由思澂斋出版。■

[12] Mitsunaga T, Nayar S K. Radiometric self calibration[C]. NewYork:IEEE Computer Society Conference on, 1999

 
王春萌
《金陵科技学院学报》2018年第01期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号