在复杂的场景下拍摄出来的一组照片一般无法完全涵盖解决一个实际问题需要的所有信息,但是,在不同的条件下对同一个场景拍摄出来的照片就可能涵盖足够的所需信息．图像融合技术可以利用从不同的角度拍摄或是用多个不一样的传感器获取的一组图像去得到一幅从人类的感官上可以更易于理解的图像[1]．融合形成的图像可以更加清晰地呈现出对某一场景的描述．在视觉效果上,融合的图像更加完美．简单地说,图像融合就是将很多种具有不同特性的关于图像的数据结合起来,使其可以互补地发挥各自最大的优势,也可以更加全面地反映目标的一些固定不变的属性,还可以提供更强的对信息进行分析的能力．

利用网络分析与耗费距离方法计算会使相关定级单元得出的因素分值普遍降低，部分耕地的级别会比用传统方法的下降一个级别。主要因为道路通达性与经济中心点并不以路途经过为主，还要考虑道路出口与到达的难易度问题。

一般来说,图像融合分为3个层次,分别是像素级图像融合、特征级图像融合和决策级图像融合[2]．现有的大部分图像融合的算法都包括3个部分:图像的特征提取,图像的特征合并,图像的重构融合[3]．图像融合算法大致分为两种:一种是空间域算法,它是将图像或者图像的一部分看作是图像自身的特征,再使用某种规则进行合并,重构得到融合图像;另一种是变换域算法,它先要将原始图像转换到变换域,对变换域上的系数进行合并,再重构得到融合图像.比较典型的变换域融合算法有基于WT(wavelet fransformation,小波变换)的[4],有基于ICA(independent component analysis,独立分量分析)的[5],还有基于稀疏表示的[6],它们都可以在一定程度上对图像进行融合．

回顾2013年太湖流域水利工作，在部党组的正确领导下，通过全局干部职工的共同努力，流域治理与管理工作取得了新成效，为促进流域经济社会可持续发展作出了应有的贡献。主要有五个方面的经验与体会：

本文提出了一种基于稀疏自编码器的图像特征提取的融合算法．稀疏自编码器模型满足两个特点:一是无监督,二是基于特征层次.它是属于深度学习[7]研究领域比较主流的一种网络模型．深度学习其实就是神经网络的一种延伸,是对已有的神经网络进行改进,从输入层获取基本信息,进而通过中间多层提取抽象特征进行表达,再通过反馈对网络参数实现微调[8],最终可以实现预定的目标效果．就机器学习来说,深度学习是该领域的一个新的研究方向,最近几年在语音识别等方面有了一些重大的突破．在图像的观察上,深度学习与人类视觉是十分接近的,这是因为深度学习采用与神经网络相似的分层结构,是包括由输入层、隐藏层(含有多层的隐藏层)、输出层组成的多层网络模型,而且相互之间存在连接的只有相邻的节点,这样的分层结构就是比较接近于人类的大脑结构,所以人类肉眼可以观察到的同一场景不同图像的相同与相异的特征与深度学习中稀疏自编码器的无监督训练提取的特征是十分接近的．再有,手工选取特征十分费力,能不能选取好的特征在很大程度上靠运气和经验,而且调节它也需要不少的时间,稀疏自编码器则是可以自动地学习一些特征的,这也是本文采用深度学习的方法来融合图像的原因．

1 基于深度学习的图像融合

稀疏自编码器的一般结构如图1所示,其训练出的特征具有稀疏性.一般地,高维且稀疏的表达比较好．稀疏自编码是在自编码算法的基础上加上稀疏性限制,而稀疏性限制就是要保证隐藏层的神经元在大多数的情况下被抑制．作为激活函数,若使用sigmoid函数,则被抑制时输出为0;若使用tanh函数,则被抑制时输出为-1．本文采用sigmoid函数作为激活函数．若隐藏层具有很多节点,一般不会指定哪些节点被抑制,而是指定一个稀疏性参数ρ来代表隐藏层神经元的平均活跃程度．

稀疏自编码器是对图像进行全局处理,所以不能直接用于对图像进行融合,而是要依赖于原始图像的基本信息．在本文提出的方法中,采用滑动窗技术将原始图像分成一个个的小块.滑动窗技术体现了移位不变性,这在图像融合上具有很重大的意义．经过滑动窗技术分解后的原始图像变成新的信号,将此信号作为输入信息输入到稀疏自编码器当中,通过一个非线性变换得到最终输出.我们需要的并不是最终的输出结果,而是要求最终输出值与输入值相等或相近,这时,网络中隐藏层的输出值才是需要的结果.因此,为了得到最优的结果,对参数就要进行不断地调整．

1.1 稀疏自编码器

深度学习具有多层网络,如果对所有层同时进行训练,时间复杂度会变得很高,而如果每次对一层进行训练,偏置项就会逐层地进行传递,产生欠拟合现象[9]．深度学习有许多种模型(方法),本文采用稀疏自编码器,它相当于一个特征提取器．

  

图1 稀疏自编码器Fig.1 Sparse auto encoder

在图1中,若输入为X,则编码为

一篇文章实际上就等同于一个小型知识库，其中蕴含着学生可以学习的许多知识。而朗读是其获取这些知识的一个重要途径，利于培养学生的综合语文能力。对于中年级的小学生而言，其正处于快速发展的阶段，需要在朗读的过程中去感受更多的语言美，去感悟更多的人生道理，帮助自身塑造起良好的人格品质。因此，教师不管在课前还是课中，都应该对学生贯彻落实有效的朗读指导，使其可以在朗读过程中获取其应学会的知识。

h=WTX,

图像融合就是将两幅或两幅以上的原始图像通过一些手段合并成一张图像,要求其能还原原始图像95%的基本信息．本文选取了数组图片,每组的2张图片都是同一场景不同条件下拍摄所得,通过逐层的深度训练得到图片相对应的高质量的特征．

动态成本要不断地与投资进度计划和目标成本进行各种层面的对比，也就是在进行目标成本制定时，就要有强烈的黄线意识和红线意识，进而对触犯黄线部分实施预警，并进行重点分析，重点防范，触犯红线就应停止支付款项，严格进行分析、管控，采取积极成本措施。在项目完成后，对积累的成本数据的后评价也是动态成本管控的重要一环。

 

这里要求L最小,其中W为权重矩阵,λ为权重衰减参数,hj为隐藏层每个神经元的输出值.

步骤4 通过匹配追踪算法由字典W1得到原始图像对应的稀疏系数矩阵x1和x2,再由最大化选择算法得到联合稀疏系数矩阵A;

1.2 字典和特征训练

损失为

通过1.2可以得到图像经过深度训练后的、可以良好地代表输入信号的特征字典W1,同时得到了各个待融合图像的稀疏系数矩阵x1和x2.该方法使得所有的图像块对应的都是同一个字典W1．采用最大化选择算法[10]可得联合稀疏系数矩阵A,从而得到重构图像

  

图2 基于稀疏自编码器的字典与图像特征训练Fig.2 Dictionary and image feature training based on the sparse auto encoder

如图2所示,假设两幅图像分别为m和n,大小均为128×128,对两幅图像用滑动窗进行分块(这里采用的是大小为8×8且滑动步长为1的滑动小块),滑动得到的小块经过编纂成列向量组合形成新的矩阵A1和B1,大小变成了64×14 641.将A1和B1按列按行依次相加,合并形成一个新的联合矩阵C1,大小仍然是64×14 641.这里,训练集和测试集选取的是同一组数据,经过训练得到的是两幅图像简单合并后的边缘特征信息,也就是经过稀疏自编码器的特征提取,得到隐藏层的权值,该权值体现了待融合图像的显著特征,视其为一个矩阵.在此算法中,将得到的这个含有待融合图像特征的权值矩阵作为一个字典W1来使用．得到了字典W1后,用匹配追踪算法求得待融合图像的稀疏系数矩阵x1和x2．

市政桥梁工程中后张法预应力施工技术研究……………………………………………… 容之攀，易磊（11-199）

  

a 远近景图1 b 远近景图2

  

c 可见光与红外线图 d 不同聚焦点时钟拍摄图图3 原图Fig.3 Original image

具体地,首先基于图层的大小随机初始化参数w1,w2,b1,b2,将权重和偏差转换为向量的形式．设定直接误差项,权值惩罚项和稀疏性惩罚项均为0．然后,采用前向算法计算出各神经网络节点的线性组合值和激活值:

zi=wixi+bi,

2014年之后的两年，泛海系频频进行资本运作，搭建了上市公司的子公司架构，泛海控股的金融动作进入史无前例的密集期：2015年，泛海控股斥资10.2亿元收购民安财险（2016年更名为亚太财险）51%的股权，意在保险牌照。2015年3月，泛海控股收购港股上市公司时富金融。2015年8月，泛海控股出资20亿元与老相识巨人投资、新华联等公司共同设立了亚太再保险公司，同年12月，泛海控股设立亚太互联网人寿保险公司。

其中sigmoid函数表示为

 

最后,用反向传导算法更新权值参数和偏置项参数,采用梯度下降法将误差减到最小．

1.3 图像重构

同时，江西规定，补贴对象在申领相关农机新产品购置补贴时，水果分级机个人申请不超过2台，农业生产经营组织申请不超过5台。农机新产品购置补贴实行“先安装后申请，先申请先补贴，不申请不补贴，资金补完为止”的原则。因当年试点资金规模不够等原因无法享受补贴的，下一年度优先补贴。

 

(1)

1.4 算法的整体描述

输入 原始图像m,n

输出 融合图像

步骤1 对原始图像进行滑动分块,图像对应的所有列向量组成矩阵;

步骤2 将新的矩阵组合成联合矩阵;

步骤3 将新的联合矩阵作为输入信号输入到稀疏自编码器中,经过训练得到字典W1;

通过稀疏自编码器,可以得到深度学习中每一层所表示的特征．以第二层隐含层为例,输入信号输入到编码器中,得到一个编码,再从解码器输出一个信息,在理想的情况下,输出的信息和输入是一样的,它是原输入信号的更加抽象的表示,更易于被机器识别．

ai=sigmoid(zi), i=1,2,

步骤5 由公式(1)得到最终的融合图像．

2 实验与讨论

为了对本文算法进行有效性验证,进行了仿真实验．实验图像共有4组,两组是远近景图像,一组是可见光图像和红外光图像的融合,还有一组是从不同的聚焦角度对两个时钟拍摄的图像,原始图见图3．图像来源于“Image Fusion Sever”图像库[11]．实验于Window 7操作系统下,使用Matlab R2014a编程实现．

PITC采取“知情不拒绝”原则，由医务人员帮助就诊者做出决定，积极鼓励就诊者接受HIV抗体检测，简化了知情同意和敏感信息的询问，减少了就诊者的“羞辱感”，就诊者容易接受［5］。有研究表明［6-7］，在医疗机构开展PITC服务，可以有效增加HIV抗体检测量，有效发现感染者。

首先,实验过程中对算法的系列参数不断地进行改进,所得的融合图从一开始的模糊到最后清晰度达到很高．就自编码器而言,隐藏神经元的数量对于融合效果有一定的影响.针对其中一组图片所做实验的结果表明,若隐藏层神经元数目n少于输入单元数目no,实验的时间虽然很短,但是实验效果并不如意;若n=no,其效果相较于神经元数目少时要好,但是算法的运行时间会增加，这是因为其中使用了稀疏自编码器;若n>no,此时就要加入稀疏性限制参数.将3种情况放在一起比较,稀疏性参数的大小对前两种情况没有影响,第3种情况的融合效果最好,但是算法运行的时间要比前两种多10 s左右,总体来说是比较好的．3种情况下的融合效果见图4．

  

a no b n=no c n>no图4 不同隐藏层神经元数目融合效果图Fig.4 Fusion effect of different number of hidden layer neuron

其次,对于融合的效果要进行主观的评价，即通过观察融合图像的细节来评定融合效果．

系列对比实验表明,神经元数目很大时,实验运行时间很长,所以为了节约实验时间,将隐藏层神经元的数目设置为100,既节约了实验时间,又可以得到比较满意的融合效果．

  

图5 不同参数条件下本文算法的不同融合效果Fig.5 Different fusion effects of our algorithm under different parameters

稀疏性参数的变化对于n≤no时的融合结果没有影响,但是对于n>no的情况有一定的影响．经过系列实验,结果表明,稀疏性参数ρ=0.5时,融合效果最好．图5为不同稀疏性参数的融合效果，每组3张图片的稀疏性参数依次是0.2,0.5,0.8．

对于4组原图像,分别采用4种算法进行了融合实验,结果见图6．结果表明,对图3a,3b两组图进行融合,本文的算法近景远景都很好地包括在内,草地上的标识牌也很清晰,而且没有什么噪声;基于WT和基于ICA的融合算法得到的图像带有一定的噪声,清晰度也不如本文算法的结果;基于稀疏表达的融合算法,从视觉效果来看与本文算法相差不是很大,效果也不错．对图3c进行融合,本文算法得到的图像包含了山路、树木、烟筒及行人,且噪声较少;基于WT的算法带有一定的噪声;基于ICA的算法有些细节不能完全表现出来．对图3d进行融合,本文算法将大小两个时钟都很清晰地表示出来;基于WT的融合算法带有一些噪声且不太清楚;基于ICA的融合算法也将两个时钟的信息基本上表现了出来,但是清晰度并不如本文算法;基于稀疏表达的融合算法和本文算法在视觉上得到了差不多的融合效果．

最后,采取客观评价的方法,对本文算法和其他3种算法进行比较.采用Piella指数[12]和边缘信息保留值[13]作为客观评价指标.Piella指数越接近1,表明融合的效果越好;边缘信息保留值越大,边缘信息就保留得越好,融合的效果也就越好．从表1和表2可以看出,与其他3种算法相比,本文算法的融合效果最好．

 

表1 4种融合算法的Piella指数Tab.1 Piella indices of four fusion algorithms

  

图像不同算法的Piella指数WTICA稀疏表达本文算法原图a0.74310.74950.80210.8437原图b0.73180.74920.80200.8338原图c0.73890.75210.80130.8524原图d0.74360.75150.80150.8356

 

表2 4种融合算法的边缘信息保留值Tab.2 Edge information retention values of four fusion algorithms

  

图像不同算法的边缘信息保留值WTICA稀疏表达本文算法原图a0.39610.39970.40420.4614原图b0.39980.39990.40120.4612原图c0.39790.40020.40330.4610原图d0.40010.40090.40230.4599

  

a 基于小波变换的融合效果

  

b 基于ICA的融合效果

  

c 基于稀疏表示的融合效果

  

d 本文算法融合效果图6 不同算法的融合效果Fig.6 Fusion effect of different algorithms

3 结论

本文研究了深度学习在图像融合上的应用．深度学习是近年来机器学习领域新兴发展的一个学科,在图像处理上具有广泛的应用．本文提出的基于深度训练的融合算法,很好地将原始图像的特征信息训练了出来,而且融合后的图像也比较清晰,一些细节都体现出来,与其他3种融合算法相比,本文算法效果较好．

多媒体教学是一种较为直观形象的教学方法。小说是以塑造人物形象为中心，通过故事情节和环境描写来反映社会生活的文学作品，涉及内容十分广泛。在小说教学中，利用多媒体，让学生观看相关视频，一方面可以激发学生的学习兴趣，另一方面可以让学生更快更直观地感受小说内容。如讲到《林黛玉进贾府》时，可以穿插播放电视剧中的相关片段，还可以用PPT展示荣宁二府的结构布局和人物关系。这样不仅让学生感受到贾府外表的繁华和等级的森严，而且使学生对贾府的布局有更直观的感受，对贾府的人物关系也有大致地了解，加深学生对小说内容和主题的理解，同时也增加课堂的趣味性。

参考文献:

[1] 汤永华,苑玮琦.多光谱掌脉和掌纹离焦图像融合方法[J].数据采集与处理,2015,30(1):175.

[2] 敬忠良,肖刚,李振华.图像融合[M].北京:高等教育出版社,2007:3-5.

[3] Yu N,Qiu T,Bi F,et al.Image features extraction and fusion based on joint sparse representation[J].IEEE J-STSP,2011,5(5):1074.

[4] Wu S,Zhao Z,Chen H,et al.An improved algorithm of remote sensing image fusion based on wavelet transform[J].J Comput Inform Syst,2012,8(20):8621.

[5] Wang H,Wei L,He C.An adaptive image fusion algorithm based on ICA[C]//International Conference on Computer,Mechatronics,Control and Electronic Engineering,2010:25-28.

[6] 余南南,邱天爽.稀疏表达的自适应遥感图像融合算法[J].信号处理,2013,29(6):663.

[7] 杨阳,张文生.基于深度学习的图像自动标注算法[J].数据采集与处理,2015,30(1):88.

[8] 刘建伟,刘媛,罗雄麟.深度学习研究进展[J].计算机应用研究,2014,31(7):1921.

[9] Lecun Y,Bengio Y,Hinton G.Deep learning[J].Nature,2015,521(7553):436.

[10] Yang B,Li S.Multifocus image fusion and restoration with sparse representation[J].IEEE Trans InstrumMeas,2010,59(4):884.

[11] Nikolov S.Online the image fusion server[EB/OL].http://www.imagefusion.org/2008.2.

[12] 余南南,邱天爽.压缩传感条件下红外和可见光图像融合技术的研究[J].信号处理,2012,28(5):692.

[13] 赵飞翔,陶忠祥.交互信息加权的红外与可见光图像融合评价方法[J].电子设计工程,2013,21(17):134.