1 引 言

多尺度变换图像融合方法将图像进行多尺度分解,而后在不同尺度上提取和保留图像的细节信息,取得了较好的融合效果,成为应用最广泛的融合方法。传统的多尺度变换融合方法如小波融合方法,以及随后出现的Curvelet变换、Contourlet变换等多尺度几何分析方法,在图像融合领域都得到较好的应用,但小波变换的方向局限性,影响了最终的融合效果,而前述的多尺度几何分析方法虽然能够更好地描述图像的内部几何特征,但仍不足以高效地表示图像,有的不具备平移不变性,导致融合图像出现伪吉布斯现象[1]。非下采样Contourlet变换(NSCT)具有多尺度、多方向、平移不变等特征,但采用非下采样金字塔(NSP),细节捕捉能力相对较弱[2]。

边缘保持滤波在滤波过程中能够较好地保留图像边缘特征,并避免了边缘附近产生的块效应,在图像融合中应用越来越广泛,取得了不错的融合效果[3-6],但这些方法或缺乏多尺度分析,或没有考虑方向信息,或融合规则比较单一,容易造成细节信息的丢失。稀疏表示作为一种新的信号处理工具,近年来也被应用到图像融合[7-9]。但传统稀疏表示方法高度冗余的字典容易导致重构结果的不稳定性和计算效率的下降,文献[10]提出了一种自适应稀疏表示模型进行图像融合,根据训练样本的梯度信息训练得到多个紧凑的子字典,用来代替传统稀疏表示中只使用一个高度冗余字典的方式。但该方法也存在缺乏多尺度分析、融合规则单一的缺点。

谭传华“阴谋”第一计：抓住一切启发机会。范成琴喜欢风花雪月，那就带她去看电影《牧马人》。妻子一感动，他就趁机引导：“你看电影里的女主角，既刚强火热又柔情似水，既忠贞又能干，真是男人理想的人生伴侣……”可惜他低估了“敌方”的战斗力。“我明白你的意思……”范成琴闻言立刻变脸，扔下丈夫，自己大步走在前面，“可惜我不是她，我就是我。”

本文提出一种基于局部极值滤波[11]和非下采样方向滤波的多尺度方向局部极值滤波图像融合方法,该方法同时具备了边缘保持滤波的保边缘性能和方向滤波器组的方向信息提取能力。将源图像进行多尺度方向局部极值滤波分解,得到相应的低频子带系数以及高频方向细节子带系数；在融合低频子带系数时,提出一种基于改进的自适应稀疏表示的融合规则,并采用空间频率和l1范数相结合的策略,更全面地判别和选择融合的稀疏表示系数,克服了传统的系数选大或平均融合规则造成的融合结果对比度降低和传统稀疏表示使用一个高度冗余字典导致的重构不稳定的问题；对高频方向细节子带系数,提出了一种基于改进的拉普拉斯能量和的匹配度选择与加权平均相结合的融合策略,更好地提取源图像的细节信息。通过对多组红外与可见光图像进行实验验证,本文算法能够较好地保留源图像的细节信息,融合结果的对比度更高,边缘更加完整清晰,相比其他常用的图像融合算法,本方法获得了更好的主观视觉效果和更优的客观评价指标。

2 多尺度方向局部极值滤波

2.1 局部极值滤波

文献[11]提出了一种基于局部极值的多尺度图像分解方法,该方法能够将高对比度纹理与强边界进行有效区分,既具备了较好的平滑能力,又能够很好地保持图像边缘方面。具体如下:

例3 如图10，在Rt△ABC中，∠ABC=90°，AB=8，BC=6，四边形DEFG是△ABC的内接矩形，点E，F分别在边AB，BC上，点D、G在边AC上，H是矩形DEFG对角线的交点，求线段CH长度的最小值.

(2)计算极值包络。给定图像I和局部极值集合S,通过最小化式(1)来求解极值包络。

 

(1)

其中,N(r)为r的邻域；σr为邻域方差；且∀

(3)获得输出图像。局部极大值、极小值相应包络的平均值即为最终输出图像。

本文提出一种基于SML匹配度的选择与加权平均相结合的高频融合规则,步骤如下:

 

(2)

2.2 非下采样方向滤波器组

非下采样方向滤波器组以互补扇形滤波器为基本模块,通过上采样和线性变换,得到具有不同方向支撑域的滤波器组[12]。四方向的非下采样滤波器组由扇形滤波器和棋盘滤波器进行级联,如图1所示。

  

图1 四方向非下采样滤波器组Fig.1 The four directions nonsubsampled filter bank

2.3 多尺度方向局部极值滤波

本文将局部极值滤波与非下采样方向滤波相结合,提出一种多尺度方向局部极值滤波算法,由于多尺度分解和非下采样方向滤波都是平移不变的,所以多尺度方向局部极值滤波算法具有平移不变性,具体如下:

步骤1:对源图像迭代进行局部极值滤波来完成对图像的多尺度分解,得到低频子带系数CL+1(i,j)和高频细节子带系数Cl(i,j)。

CL+1=localextrema(Cl)

(3)

其中,l为迭代次数,l=1,2,…,L。

步骤2:将得到的高频细节子带系数进行非下采样方向滤波,得到一系列的高频方向细节子带系数Cl(i,j,kl),kl为第l层高频细节子带被分解的方向数。

3 自适应稀疏表示

区别于传统稀疏表示方法只使用一个高冗余度字典,文献[10]通过训练得到多个子字典,根据图像块的梯度特征,自适应地选择字典进行稀疏表示。从图像中随机采集的图像块,根据设定的方差阈值得到训练集P={p1,p2,…,pM},M为图像块数目。计算图像块的梯度方向θ(x,y)和梯度幅值G(x,y)。

高校突发事件带来的危害较大，当其一旦发生之后，必须对其采取有效的防护措施，以此来避免事件的进一步扩大，带来更大的经济损失。

θ(x,y)=arctan(Gy(x,y)/Gx(x,y))

工匠精神必须包含道德的要求，而德育并不仅仅只是思政类课程的任务，任何一门课程均具有教书育人的天然属性。所以，必须充分挖掘和发挥包括专业课实践课在内的各类课程在育人中的主渠道作用，实现各门课程的合力，以课程思政的理念统一所有教师的育人职责，发挥校企合作的优势，从第一课堂到第二课堂，构建起课程思政的大环境，实现工匠精神潜移默化的生成和发展。

(4)

 

(5)

告知患者家属、朋友等，多和患者交流，表达出自身的关心和鼓励，使其能够感受到温暖，能够积极的做好各项护理配合工作，有利于避免恶心呕吐的发生。

Gx(x,y)=pi(x,y)*

(6)

步骤5:对所有图像块重复上述步骤,得到相应的融合结果,然后将图像块放回原位,重复像素部分求平均值从而得到融合的低频系数。

(7)

将梯度方向分为K等份,将梯度方向值θ(x,y)量化并累加对应的梯度幅值G(x,y),则直方图的峰值所对应方向为该图像块的梯度主方向。如果直方图分布均匀,将所有图像块单独训练得到一个子字典。用ki表示图像块pi对应集合PK的下标,则ki计算如下:

 

(8)

其中,θmax=max(θ1,θ2,…,θK)表示对应直方图的峰值;k*表示该峰值对应的下标。通过式(8)将所有图像块划分并训练得到(K+1)个子字典{D0,D1,…,DK}。

4 本文融合算法及融合规则

4.1 融合算法

本文融合算法分为以下几个步骤:

(1)源图像经过多尺度方向局部极值滤波,得到低频子带系数以及高频方向细节子带系数为第l层细节子带分解的方向数,l=1,2,…,L；

(1)确定局部极大、极小值。给定以像素p为中心、k为半径的邻域,如果最多有2k2+2k个元素的像素值大于p像素值,则称p为局部极大值；如果最多有2k2+2k个元素的像素值小于p像素值,则称p为局部极小值。

(2)对低频子带系数进行自适应稀疏表示,采用空间频率和稀疏表示系数的l1范数结合的策略,得到融合的低频子带系数

(3)对高频方向细节子系数应用基于改进的拉普拉斯能量和匹配度的选择与加权平均相结合的融合规则,得到融合的高频方向细节子带系数

(4)进行逆变换得到最终的融合图像。

4.2 融合规则

4.2.1 低频系数融合规则

低频系数融合一般采用取平均的规则,容易导致融合结果图像对比度降低。稀疏表示能够将能量传递到融合图像,从而避免了图像对比度的降低。本文利用自适应稀疏表示,并采用改进的空间频率和l1范数相结合的融合策略,得到融合的稀疏表示系数。具体步骤如下:

步骤1:采用滑动窗口技术将低频子带分块,转换成n维列向量并零均值化,得到

步骤2:找出具有最大方差的图像块,利用公式(8)选择子字典Dki,计算中每个的稀疏系数向量表示重构误差允许范围。

 

(9)

步骤3:计算每个图像块的空间频率及其自适应稀疏系数的l1范数采用式(10)中空间频率与l1范数结合的融合策略,得到融合稀疏系数向量

 

(10)

改进的空间频率ISF计算公式如下:

通过前文的对比分析发现，两类传感器接收的信号在时域和频域上存在差异性与共性，差异性主要体现在工作频段和对信号的灵敏度上，下面从这两方面开展适用性讨论，并以此总结出声发射传感器的选取原则。

 

(11)

 

(12)

 

(13)

 

(14)

 

(15)

步骤4:计算得到融合图像块。

 

(16)

改进的拉普拉斯能量和(SML)能够反映图像的清晰度和边缘信息,比图像梯度能量(EOG)、空间频率(SF)、拉普拉斯能量(EOL)具有更好的细节区分能力[13]。SML由以下公式计算得出:

Gy(x,y)=pi(x,y)*

4.2.2 高频系数融合规则

其中,

其中,Gx(x,y)、Gy(x,y)为利用Sobel算子计算得到的图像块pi的水平和垂直方向梯度;*表示卷积:

ML(i,j)=|2I(i,j)-I(i-1,j)-I(i+1,j)|+

|2I(i,j)-I(i,j-1)-I(i,j+1)|

(17)

 

(18)

企业为了能在激烈残酷的市场竞争下求生存始终以最新的科技成果作为支撑，而企业想要保持长久的竞争优势必须保证其创造力，而创造力的来源就是高素质的技术人才，各大高等院校是各类人才培养的基地。因此，高校与企业合作共建实验室无疑是实现 “优势互补、合作双赢、共同发展”目标的有效途径[3]。

物资采购人员在选择供应商的过程中，不仅要关注物资的具体价格以及市场变化因素，更为重要的是加强对供应商资质的审核与调查，确保物资的质量，以长期合作为目标；而不能贪图一时的便宜则影响到企业自身的长足发展。物资采购一方面是保障企业生产能够稳定开展，另一方面也需要对企业的重大决策提供依据。因此，企业需要建立对应的供应商评价体系，比如，诚信评价、风险评价等等，以便对合作的供应商的资质进行合理评价，倘若未能达到标准的供应商，则需要取消与其的合作，选择另外资质更加优秀的供应商进行合作。

(1)计算高频方向细节子带的SML值SMLA(i,j,kl)、SMLB(i,j,kl)；

将处于对数生长期的K562和KG1a细胞接种于96孔板，细胞密度为1×108/L，每孔100 μL。设对照组、药物组和空白组，每组5个复孔。Rh2-S 均使用DMSO溶解稀释，浓度为20、40、60、80 μmol/L，分别培养24、48、72 h。测量前，每孔加入10 μL CCK-8工作液，震荡混匀，继续正常培养2 h后，酶标仪（工作波长为450 nm）测量吸光度（A）值。计算时去掉复孔的最大值和最小值，保留3个有效复孔，计算细胞活力。

(2)计算局部区域的匹配度。匹配度表示两幅图像同一区域的SML相似程度,相似程度越大,匹配度越大。

（3）施工工艺较差。沥青路面施工过程中，若存在混合料配合比设计不当（如油石比不合理、集料压碎值较低、针片状含量较高等）、混合料拌和不均匀、混合料摊铺碾压工艺不科学以及在潮湿或低温等不利环境下施工等，使得平整度和压实度不足，路面局部孔隙过大，路表积水更容易渗入路面结构中，导致沥青路面极易产生大量坑槽病害。

 

(19)

(3)设定匹配度阈值α,通常取0.5～1,如果M(i,j,kl)<α,说明区域匹配度较低,则融合系数如式(20):

(4)当M(i,j,kl)≥α时,说明区域匹配度较高,则融合系数按照加权平均的规则选取。

CF(i,j,kl)=

人类建造屋顶的历史约有一万年。早在新石器时代，人类居住的树屋、石屋、帐篷、半地穴居等建筑中经常有着外形相似的锥形或坡形屋顶。早期人们发现这样的屋顶很牢固，建造起来相对省力，对有遮风挡雨、保温隔热需求的住户来说，住在有坡屋顶的房子里那是相当舒服！当充满智慧的人类掌握了更高超的建造技术后，他们便开始推敲屋顶的最佳坡度，寻找屋顶和墙体之间的完美比例，还用心地在屋顶上加了装饰……这样一来，坡屋顶的建造越来越科学、合理，甚至有了艺术范儿。

 

(20)

 

(21)

其中,

5 实验及结果分析

为了检验融合效果,对2组典型的红外与可见光图像进行实验,同时与5种其他融合算法进行比较:离散小波变换(DWT)、文献[14]方法(NSCT+PCNN)、文献[7]方法(SR)、文献[9]方法(DWT+SR)和文献[10]方法(ASR)。DWT方法选用DBSS2,2小波,低频分量采用平均融合规则,高频分量采用基于区域能量量测[15]融合规则。其余方法相关参数均按照文献选取。源图像分解层数均取3层,图像块大小选8×8,所有字典均使用K-SVD算法进行训练,字典大小为256×256。非下采样方向滤波器采用“vk”,分解方向数为8,8,16。源图像及融合结果图像如图2和图3所示。采用标准差、信息熵、平均梯度、空间频率、边缘信息保持量(QAB/F)等客观评价指标对融合结果进行定量评估[16-17],指标值越大,融合效果越好。融合图像客观评价数据如表1和表2所示。

  

图2 Leaves源图像融合结果Fig.2 Fused results of Leaves source images

  

图3 Quad源图像融合结果Fig.3 Fused results of Quad source images

图2为Leaves红外与可见光图像的融合实例。红外图像中目标板非常清晰,但场景中部分树叶比较模糊,可见光图像中树叶等场景比较清晰,而目标板对比度较低。DWT方法、ASR方法得到的融合图像中目标板的对比度相对较低。SR方法得到的融合结果虽然对比度较高,但目标板的融合效果很差。NSCT+PCNN方法、DWT+SR方法和本文方法得到融合结果的对比度都比较高,相比之下,本文方法所得融合结果的对比度更高,目标及树叶的信息更完整,视觉效果更好。表1的数据可以看出,本文算法所得融合结果的各项客观评价指标均优于其他融合方法,与主观视觉效果相一致。

涂抹药剂包括屠溃、溃腐灵等。幼树嫁接后，解接膜时，给嫁接口涂抹屠溃。以后，随接穗生长，逐渐木质化时，也接续给木质化部分涂抹屠溃，可极大减少涂抹部分的发病率。

建章立制，将资金的分配、管理、使用等全过程的纳入制度的笼子，是做好乡镇财政资金监管的最根本保障，也是最有效的途径。乡镇财政部门应按照上级财政部门的要求，特别是财政部《关于切实加强乡镇财政资金监管工作的指导意见》（财预〔2012〕28号）等文件，进一步做好制度的梳理和完善工作，有计划、有步骤地开展乡镇财政资金监管的制度建设，逐步构架好“乡镇资金监管的制度牢笼”。通过制度的完善，把乡镇财政资金监管的责任层层分解到岗位、到人员，努力实现乡镇财政资金的全方位、无缝隙监管。

图3为Quad红外与可见光图像的融合实例。可见光图像中广告牌显示较清晰,其他细节比较模糊,红外图像中行人、车辆等细节清晰,但广告牌则模糊不清。DWT方法得到的融合图像对比度较低,广告牌、行人等细节信息相对模糊,且存在块效应。SR方法融合结果对比度较高,但出现严重的空间不连续现象,融合效果较差。DWT+SR方法比SR方法得到改善,但在目标边缘附近出现块效应。ASR方法融合结果对比度较低,效果也不理想。NSCT+PCNN方法融合结果对比度较高,但广告牌融合效果相对较差。本文方法得到的融合结果对比度较高,行人、车辆清晰可辨,目标更突出。表2的数据可以看出,除信息熵稍低于NSCT+PCNN方法、SR方法及DWT+SR方法外,本文融合方法的其余各项指标均优于其他融合方法,而上述指标偏低的主要原因是这些方法得到的融合结果中包含有部分虚假信息,如块效应、空间不一致现象等。

 

表1 Leaves融合图像客观评价Tab.1 Objective evaluation of Leaves fused images

  

DWTNSCT+PCNNSRDWT+SRASRProposed method标 准 差34.836537.880838.463941.701334.552345.4995信 息 熵6.56826.41716.60556.77306.55226.7785平均梯度9.51568.51039.044410.08869.041111.8216空间频率20.842319.219720.134122.051520.135626.1722QAB/F0.62890.57370.64400.65020.64940.6515

 

表2 Quad融合图像客观评价Tab.1 Objective evaluation of Quad fused images

  

DWTNSCT+PCNNSRDWT+SRASRProposed method标 准 差23.197634.379036.840736.000423.703340.1979信 息 熵6.02396.75396.80636.87816.04536.5985平均梯度4.09124.33785.47334.46803.71125.6241空间频率11.983812.098213.754212.599811.592415.8904QAB/F0.49800.56460.52430.56550.56610.5732

6 结 论

本文方法将多尺度局部极值滤波与非下采样方向滤波相结合,实现了对图像的多尺度、多方向表示,具备了平移不变性和边缘保持性能。在融合规则上,根据各子带的不同特点分别制定了相应的融合规则,对低频子带采用基于自适应稀疏表示的融合规则,用多个字典代替一个高度冗余的字典,克服了传统稀疏表示采用高度冗余字典导致重构结果不稳定,避免了传统的系数选大或平均规则带来的图像对比度降低、目标指示能力弱的问题,同时采用空间频率和l1范数相结合的策略,能够更全面准确地选择稀疏系数；对高频方向细节子带采用基于拉普拉斯能量和匹配度的选择与加权平均相结合的融合规则,能够从源图像捕获更多的细节信息。多组红外与可见光源图像的融合实验结果表明,本文提出的融合方法能够有效捕捉源图像的细节信息,对比度更高,边缘更加完整清晰,目标更加突出,融合效果更好,其主、客观性能均优于几种传统的图像融合方法。

参考文献:

[1] KONG Weiwei,LEI Yingjie,LEI Yang,et al.Fusion method for gray-scale visible light and infrared images based on improved NSCT[J].Control and Decision,2010,25(11):1607-1612.(in Chinese)

孔韦韦,雷英杰,雷阳,等.基于改进型NSCT变换的灰度可见光与红外图像融合方法[J].控制与决策,2010，25(11):1607-1612.

[2] LI Dong,WANG Jingdong,LI Peng.Image fusion algorithms by combining NSCT and wavelet transform[J].Optoelectronic technology,2011,31(2):87-92.(in Chinese)

李栋,王敬东,李鹏.基于NSCT变换和小波变换相结合的图像融合算法研究[J].光电子技术,2011,31(2):87-92.

[3] Zhao J,Feng H,Xu Z,et al.Detail enhanced multi-source fusion using visual weight map extraction based on multi scale edge preserving decomposition[J].Optics Communications,2013,287:45-52.

[4] YANG Hang,WU Xiaotian,HE Baigen,et al.Image fusion based on multiscale guided filters[J].Journal of Optoelectronics·Laser,2015,26(1):170-176.(in Chinese)

杨航,吴笑天,贺柏根,等.基于多尺度导引滤波的图像融合方法[J].光电子·激光,2015,26(1):170-176.

[5] Hu J,Li S.The multiscale directional bilateral filter and its application to multisensor image fusion[J].Information Fusion,2012,13(3):196-206.

[6] Li S,Kang X,Hu J.Image fusion with guided filtering[J].IEEE Transactions on Image Processing,2013,22(7):2864-2875.

[7] Rexiline D N D,Anusmina D J.Fusion and restoration of multifocus image using sparse representation[C]//Advances in Engineering,Science and Management(ICAESM),2012 International Conference on.IEEE,2012:291-296.

[8] Liu Y,Wang Z.A practical pan-sharpening method with wavelet transform and sparse representation[C]//Imaging Systems and Techniques(IST),2013 IEEE International Conference on.IEEE,2013:288-293.

[9] Liu Y,Liu S,Wang Z.A general framework for image fusion based on multi-scale transform and sparse representation[J].Information Fusion,2015,24:147-164.

[10] Liu Y,Wang Z.Simultaneous image fusion and denoising with adaptive sparse representation[J].IET Image Processing,2014,9(5):347-357.

[11] Subr K,Soler C,Durand F.Edge-preserving multiscale image decomposition based on local extrema[J].ACM Transactions on Graphics(TOG),2009,28(5):147.

[12] Da Cunha A L,Zhou J,Do M N.The nonsubsampled contourlet transform:theory,design,and applications[J].IEEE transactions on image processing,2006,15(10):3089-3101.

[13] Huang W,Jing Z.Evaluation of focus measures in multi-focus image fusion[J].Pattern recognition letters,2007,28(4):493-500.

[14] Xiao-Bo Q,Jing-Wen Y,Hong-Zhi X,et al.Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain[J].Acta Automatica Sinica,2008,34(12):1508-1514.

[15] Burt P J,Kolczynski R J.Enhanced image capture through fusion[C]//Proc.of 4th International Conference on Computer Vision,Berling,Germany,1993:173-182.

[16] YANG Guang,TONG Tao,MENG Qiangqiang,et al.Infrared and visible images fusion method based on gradient weighted[J].Infrared and Laser Engineering,2014,43(8):2772-2779.(in Chinese)

杨桄,童涛,孟强强,等.基于梯度加权的红外与可见光图像融合方法[J].红外与激光工程,2014,43(8):2772-2779.

[17] CHEN Tianming,WANG Junqi,ZHANG Xingxiang,et al.Fusion of infrared and visible images based on feature extration[J].Laser & Infrared,2016,46(3):357-362.(in Chinese)

陈天明,王俊琦,张星祥,等.基于特征提取的红外与可见光图像融合[J].激光与红外,2016,46(3):357-362.