0 引言

红外和可见光图像融合能够充分综合不同波段图像的互补信息，获得更利于人眼感知的场景图像，因而成为图像融合中的研究热点，在情报侦查、安防监控、辅助驾驶等领域具有很大应用潜力和应用价值。

相比于灰度图像融合[1-2]，红外和可见光图像彩色融合利用人眼视觉对色彩敏感的特点，用色差来增强图像细节，能够进一步提高融合图像的场景信息表达能力。由于早期伪彩色融合算法[3-5]得到的融合图像的色彩极不自然，可能引起观察者视觉疲劳甚至产生错觉[6]。对此，Toet[7]创造性地将色彩传递引入到夜视和红外图像融合中，利用昼间彩色参考图像与伪彩色图像间的全局颜色矩传递，得到了具有自然感色彩的融合图像。鉴于全局色彩传递不能较好实现融合图像序列的颜色恒常性，Zheng等[8-11]提出了基于局域纹理、区域直方图等局部统计特征的色彩传递方法，但计算成本昂贵，实时性差。针对融合系统实时融合、颜色恒常等需求，Toet[12-15]提出了基于样本的融合算法，并指出了彩色融合算法的发展方向——任务导向型彩色融合。根据任务性质的不同，彩色融合可分3种不同的需求[14]：①直观、自然的颜色；②良好的材料辨别性；③较好的（热）目标检测性。本文将重点关注前两种需求，引入BP神经网络对基于样本的融合算法进行改进，提出一种新的红外和可见光图像自然感彩色融合算法。

1 基于样本的彩色融合算法存在的问题

基于样本的彩色融合算法的核心是按照最小化建模颜色和测量颜色之间的平均感知色差的原则（即最小化颜色矢量之间的欧式距离），确定N维灰度向量(g1, g2, …, gN)与三维彩色向量(C1, C2, C3)间的最佳映射f(g1, g2, …, gN)→ (C1, C2, C3)。该映射反应了不同波段传感器输出的场景 N维灰度信息与场景自然感彩色信息间的内在联系，是由传感器的固有特性和场景的环境特点共同确定的，而颜色查找表 CLUT（Color Look-up Table）是映射f的一种具体实现形式。为了获得最佳的色彩映射效果，需要解决查找表构建过程中的两个关键问题：1）样本数据冲突，即样本数据中，通常存在同一输入值(g1, g2, …, gN)对应不同(C1, C2, C3)索引值的情况；2）颜色查找表不完整，即单一场景的图像样本通常无法遍历查找表的所有输入值。

对于这两个问题，Toet给出了解决思路[12]。对于问题1），可以在RGB颜色空间或CIELab感知颜色空间中对冲突数据求取算术（或加权）平均值；对于问题2），可以采用同一环境下多个场景的图像样本，联合导出完整的查找表。图1(a)、图1(b)、图1(c)分别为一个场景的可见光、近红外和昼间彩色图像，图1(d)为利用图1(a)、图1(b)、图1(c)3幅样本图像构建的初始颜色查找表，图1(e)为Toet构建的该场景的完整颜色查找表。

  

图1 不同方法得到的颜色查找表 Fig.1 CLUTs of different methods

2010年北理工王岭雪、金伟其等[16]提出了一种查找表填充方法，采用最近欧氏距离索引值替代的策略补全查找表。2015年北理工姜曼、金真[17-18]详述了查找表填充的关键细节，提出了新的查找表填充方法，取得了较好的融合效果，图1(f)为所构建的颜色查找表。

2）最佳色彩映射推导：按照不同波段图像中像素位置的对应关系，采用BP神经网络对所选训练样本的二维灰度向量(g1, g2)和三维色彩向量(R, G, B)进行非线性拟合，确定最佳映射f(g1, g2)→(R, G, B)。我们借助MATLAB提供的神经网络非线性拟合工具箱建立双输入三输出的双层BP神经网络（隐含层包含10个神经元），采用Levenberg-Marquardt训练算法，70%的样本数据用于网络训练，15%的样本数据用于泛化性能优化，剩余15%用于网络测试。

【例5】某生态系统中存在着如图1所示的食物网，若A流向B与其直接流向C的能量比例由1∶1调整为1∶4，且调整比例前后A同化的能量不变，能量传递效率按10%计算，则该生态系统能承载C的数量是原来的____倍（保留两位小数）。

2 算法原理

2.1 基于BP神经网络的查找表构建方法

2.2 电子商务销售模式 但随着互联网技术的发展，从2008年起陆续出现网上售卖大樱桃的新销售方式。大樱桃果实易分解的性质给传统销售带来了挑战，在自然条件下，它只能储存1～2 d。所以采摘时间的集中，大樱桃在长途运输时保存困难，市场规模受到距离的限制，产品的声誉也受到了新鲜度降低的影响[3]。产品供应和存储难题增加了水果种植者的成本。互联网技术的出现给大樱桃的销售提供了一个新的选择——大樱桃的电子商务。利用新的互联网技术大大提高了生产效率。给予了大樱桃的果农更大的销售市场。

图7所示的街区环境下5个不同场景的双波段灰度图像（H1-L1：可见光 0.4～0.7 μm；H2-L2：近红外 0.7～1.0 μm）和昼间彩色图像（H3-L3：0.4～0.7 μm RGB）来源于文献[12]，所有图像均为233×160像素，位深8 bit。

1）训练样本选择：选取所处环境中的一个或几个具有代表性场景的双波段灰度图像（X×Y像素，8 bit）和昼间彩色图像（X×Y像素，8 bit，RGB）作为训练样本（每个场景拥有X×Y组样本数据），所选场景中应该包含环境中的典型对象，并且同一场景不同波段图像是经过严格配准的。

小商桥造型优美,结构合理,雕刻华丽,具有重要的历史文物价值。曾被国家文物局古建筑专家组组长罗哲文赞为“世界桥梁史上珍品中的精品”，1986年被河南省公布为省级文物保护单位。

总之，Toet所提方法的基本思想是借助大量数据样本遍历查找表的所有输入和输出值。而北理工的方案是根据已有输出值和填充策略（最小欧氏距离、邻域均值等）对查找表进行修补。两种方法虽然思路不同，但实质是在无法确定映射f(g1, g2)→(R, G, B)的情况下提出的查找表补全方案，从图1(e)和图1(f)可知，两种方法得到的查找表颜色过渡不够自然，将影响场景的融合效果。2017年，Toet[15]针对材料辨别性融合需求，提出对于 3 波段（0.4～0.7 μm、0.7～1.0 μm、8～14 μm）图像融合，采用三维刚性拟合直接推导映射f的方法。受此启发，本文借助BP神经网络对双波段图像样本的二维灰度向量(g1, g2)和三维色彩向量(R, G, B)进行非线性拟合，直接获得灰度与色彩间的映射关系f(g1, g2)→(R, G, B)，并由此构建完整的颜色查找表，图1(g)为本文构建的颜色查找表，其亮度和色彩过渡更加自然。

米多想到自己莫名丢失的录音笔，正想问鲍泽，对方却神色一变，突然摆出一副不耐烦的样子。随即，米多的耳旁传来了一个熟悉的声音。

3）颜色查找表构建：以g1和g2作为横坐标和纵坐标，利用步骤2）获得的映射f和输入值(g1, g2)构建完整的二维颜色查找表CLUT，(R, G, B)＝CLUT(g1,g2)＝f(g1, g2)，其中 g1, g2＝0, 1, …, 255，(g1, g2)表示8 bit灰度图像的所有二维灰度组合，共计 256×256个(R, G, B)索引值。

本文利用全部5个场景作为训练样本，共计233×160×5＝186500组样本数据，按照3.1节所述步骤构建的颜色查找表，以及利用该表和图7中5个场景的可见光图像（H1-L1）、近红外图像（H2-L2）得到的彩色融合结果如图8(a)所示。Toet[12]给出了针对这5个场景优化的颜色查找表及相应的彩色融合结果（图8(b)）。

  

图2 RGB查找表亮度优化Fig.2 Luminance optimization of RGB CLUT

2.2 自然感彩色融合

自然感彩色融合过程如图3所示，对于配准后的待融合灰度图像imVIS和imIR（均为M×N像素，位深8 bit），根据两幅图像在同一像素位置(i, j)（其中i∈[1, M], j∈[1, N]）处的灰度值组合(g1, g2)（其中g1＝imVIS(i, j), g2＝imIR(i, j)，g1, g2∈[0, 255]）索引颜色查找表CLUT，索引值CLUT(g1, g2)即为彩色融合图像相同像素位置(i, j)处的RGB三通道值(R(i, j),G(i, j), B(i, j))＝CLUT(g1, g2)。对双波段灰度图像所有位置（i＝1, 2, …, M；j＝1, 2, …, N）的像素索引后得到自然感彩色融合图像imF。

多位熟悉林雪川情况的知情人向上游新闻记者介绍，林雪川初中毕业后在观阁镇当地的邮电部门送报纸，开始时工作较为认真。但不久之后，林雪川利用送报纸的机会，以帮村民取邮政汇款为由，多次偷窃村民从省外汇回家乡的款项。被村民发现之后，林雪川前往广东打工，因数额不大，警方也未予追究。

  

图3 彩色融合过程Fig.3 The process of color fusion

3 实验与分析

作为训练样本的场景A和场景B基本包含了村庄环境中的所有对象，如房屋、树木、道路、栅栏、汽车、草地、天空等，两个场景共计620×450×2＝558000组样本数据。按照3.1节所述步骤构建的颜色查找表，以及利用该表和图5中5个场景的低照度可见光图像（C1-G1）、长波红外图像（C2-G2）得到的自然感彩色融合结果如图6所示。由图6可知，场景中不同对象的颜色映射正确，热目标在融合图像中均能够较好辨识，相比于场景的单波段灰度图像（图5(a)、图 5(b)），彩色融合图像更利于情景感知和目标探测。

3.1 长波红外与低照度可见光图像彩色融合

图4所示的村庄环境下两个不同场景的双波段灰度图像（A1-B1：低照度可见光0.4～0.7 μm；A2-B2：长波红外8～14 μm黑热）和昼间彩色图像（A3-B3：0.4～0.7 μm RGB）来源于TNO2014数据库，将用于样本训练推导最佳映射并构建颜色查找表，所有图像均为620×450像素，位深8 bit。图5所示的同一环境下更多场景的双波段灰度图像（C1-G1：低照度可见光 0.4～0.7 μm；C2-G2：长波红外 8～14 μm 黑热）来源于 TNO2016数据库，将用于算法验证，所有图像均为640×480像素，位深8 bit。其中，场景C和场景D不含热目标；场景E和场景F包含2个热目标（黑热），一个人迎面走来，一个人背向跑开；场景G包含人和汽车多个热目标。

BP神经网络由 Rumelhart和 McCelland等[19]于1987年提出。1988年，Robert Hecht-Nielsen[20]证明其通过样本训练能够逼近任意n维欧式空间有界子集A到 m维欧式空间有界子集 f[A]的映射或函数f:A⊂Rn→Rm。从数学本质上看，BP神经网络是将输入输出问题转换为非线性优化问题，其具有以下特点：①n维输入空间到m维输出空间的非线性映射能力；②对训练样本噪声的容错能力；③对非样本数据的泛化能力。

为了验证算法的有效性并对比融合效果，本文采用Toet提供的TNO Image fusion dataset[21]（以下简称TNO2014）和TRICLOBS Dynamic Multiband Image Dataset[22]（以下简称 TNO2016）图像融合数据库以及文献[12-13]中配准后的多波段图像作为融合实验的图像源。实验硬件环境为Intel T8300处理器，3 G内存，软件环境为MATLAB R2014a。为了有效对比本文和Toet彩色融合结果，采用以下基于场景理解的客观评价指标：①清晰度指标ISM[23]；②色彩的彩色性指标 CCM[23]；③色彩与场景内容的协调性指标和（前者针对城镇建筑场景，后者针对绿色植物场景）。

3.2 近红外与可见光图像彩色融合

基于上述特性，本文提出一种新的查找表构建方法：首先采用BP神经网络对图像样本进行非线性拟合，推导出最佳色彩映射f，然后利用映射f和输入值构建完整的二维颜色查找表CLUT，具体步骤如下：

  

图4 村庄场景训练样本Fig.4 Training samples of a village

  

图5 村庄场景C-GFig.5 Scenes C-G of a village

  

图6 本文颜色查找表及彩色融合结果Fig.6 CLUT and results of color fusion based on proposed algorithm

  

图7 街区场景训练样本Fig.7 Training samples of a block

4）查找表亮度优化：对于夜间场景样本，经前3个步骤得到的颜色查找表的色彩是自然过渡的，但亮度分布不均匀，会导致融合图像局部亮度跳变，进而影响融合效果（如图2所示）。为了最终获得符合人眼视觉习惯的融合图像，我们将 RGB查找表 CLUT变换至 YCbCr颜色空间，对 Y通道（Y＝0.275R＋0.564G＋0.098B＋16）中的所有亮度值按照公式YCLUT(g1, g2)＝(g1＋g2)/2（其中 g1, g2＝0, 1, …, 255）重新赋值优化。优化后RGB查找表的亮度是由小(0,0)到大(255, 255)均匀过渡的。

根据场景特点（城镇建筑），我们选择ISM、CCM、三个客观评价指标，两种算法的彩色融合结果评价分数如表1所示。由客观评价结果可知，本文算法融合结果在清晰度、色彩彩色性以及色彩协调性方面均具有优势。对比图8(a)、图8(b)中的两个查找表，本文查找表的色彩和亮度过渡更自然，反映到融合图像中，图8(a)中图像明亮自然，场景中各种对象的色彩清澈、边界清晰、易于分辨。图8(b)中图像整体颗粒感较强，场景中部分对象的色彩浑浊，存在大量色彩映射错误的噪点，场景H、J中的天空表现尤为明显。另外，图8(a)、图8(b)两组图像中都存在颜色错误映射的情况，例如场景 I、K中云朵的色彩，部分原因与双波段图像没有严格配准有关，但是图8(b)场景J中天空的色彩映射出现了严重的错误，而图8(a)场景J则没有出现这些问题，整体颜色自然，对象分辨明显。

  

图8 彩色融合对比Fig.8 A comparison of color fusion

 

表1 不同彩色融合算法的客观评价结果Table 1 Objective evaluation results of different algorithms

 

3.3 近红外与低照度可见光图像彩色融合

图9和图10所示的住宅环境下6个不同场景的双波段灰度图像（M1-R1：低照度可见光0.4～0.7 μm；M2-R2：近红外0.7～1.0 μm）和场景M的昼间彩色图像（M3：0.4～0.7 μm RGB）来源于文献[12-13]，场景M图像为433×400像素，位深8 bit，将作为训练样本推导最佳映射并建颜色查找表，场景N-R图像为260×200像素，位深8 bit，将用于融合效果对比。

警察礼仪教育是一项系统的基础教育工程，是每一位预备警官应在校持续接受的素质教育，警察礼仪课程的重点不是知识的传授，教学目标也不仅仅是学生获得知识、熟习礼仪规则，而在于提高预备警察的职业修养，养成良好的礼仪行为习惯。因此，加强警察礼仪课程建设，推进教学内容与教学方式的创新与改革已迫在眉睫。

场景M共计433×400＝173200组样本数据。按照3.1节所述步骤构建的颜色查找表，以及利用该表和图10中5个场景的低照度可见光图像（N1-R1）、近红外图像（N2-R2）得到的自然感彩色融合结果如图11(a)所示。图11(b)为Toet[13]利用场景M构建的颜色查找表以及相应的彩色融合结果。

  

图9 住宅场景训练样本Fig.9 Training samples of a residence

  

图10 住宅场景N-RFig.10 Scenes N-R of a residence

 

  

图11 彩色融合对比Fig.11 A comparison of color fusion

根据场景特点（绿色植物），我们选择ISM、CCM、三个客观评价指标，两种算法的彩色融合结果评价分数如表2所示。结合客观评价结果对比图11(a)、图 11(b)可知，本文融合图像在清晰度、色彩彩色性以及色彩协调性方面均具有优势，图像更加清晰，颜色更加鲜艳自然，因而更利于情景感知和图像内容的快速理解。

 

表2 2种彩色融合算法的客观评价结果Table 2 Objective evaluation results of two algorithms

 

4 结论

基于样本的融合算法是一种快速有效、实时性强的自然感彩色融合算法，本文针对已有算法存在的不足，引入BP神经网络模型，提出了一种新的红外和可见光图像自然感彩色融合算法。利用Toet提供的图像源进行的融合实验验证了算法的可行性以及对不同环境、不同波段图像良好的适用性，显示了出色的自然感融合效果。论文下一步将尝试重点针对（热）目标检测的需求，结合BP神经网络进行深入研究。另外，还将对神经网络的选择和优化做进一步探讨。

参考文献：

[1]LI S, KANG X, FANG L, et al. Pixel-level image fusion: A survey of the state of the art[J]. Information Fusion, 2017, 33: 100-112.

[2]陈清江, 张彦博, 柴昱洲, 等. 有限离散剪切波域的红外可见光图像融合[J]. 中国光学, 2016, 9(5): 523-531.CHEN Qingjiang, ZHANG Yanbo, CHAI Yuzhou, et al. Fusion of infrared and visible images based on finite discrete shearlet domain[J].Chinese Optics, 2016, 9(5): 523-531.

[3]Mcdaniel R V, Ockman N, Scribner D A, et al. Image fusion for tactical applications[C]//Proceedings of SPIE-The International Society for Optical Engineering, 1999, 3436: 685-695.

[4]Toet A, Walraven J. New false color mapping for image fusion[J]. Optical Engineering, 1996, 35(3): 650-658.

[5]Waxman A M, Gove A N, Fay D A, et al. Color night vision: opponent processing in the fusion of visible and IR imagery[J]. Neural Networks,1997, 10(1):1-6.

[6]Geoffrey W. Stuart, Philip K. Hughes. Towards Understanding the Role of Colour Information in Scene Perception using Night Vision Device[R].Australia: DSTO Defence Science and Technology Organisation, 2009.

[7]Toet A. Natural colour mapping for multiband nightvision imagery[J].Information fusion, 2003, 4(3): 155-166.

[8]ZHENG Y, Essock E A. A local-coloring method for night-vision colorization utilizing image analysis and fusion[J]. Information Fusion,2008, 9(2): 186-199.

[9]YANG B, SUN F, LI S. Region-Based Color Fusion Method for Visible and IR Image Sequences[C]// Pattern Recognition, 2008. CCPR'08.Chinese Conference on. IEEE, 2008: 1-6.

[10]赵源萌, 王岭雪, 金伟其, 等. 基于区域直方图统计的灰度图像色彩传递方法[J]. 北京理工大学学报, 2012, 32(3): 322-326.ZHAO Yuanmeng, WANG Lingxue, JIN Weiqi, et al. A Color Transfer Method for Colorization of Grayscale Image Based on Region Histogram Statistics[J]. Transactions of Beijing Institute of Technology, 2012, 32(3):322-326.

[11]薛模根, 周浦城, 刘存超. 夜视图像局部颜色传递算法[J]. 红外与激光工程, 2015, 44(2): 781-785.XUE Mogen, ZHOU Pucheng, LIU Cunchao. A novel local color transfer method for night vision image[J]. Infrared and Laser Engineering, 2015,44(2): 781-785.

[12]Hogervorst M A, Toet A. Method for applying daytime colors to nighttime imagery in realtime[C]//Proc. SPIE, 2008, 6974: 697403.

[13]Hogervorst M A, Toet A. Fast natural color mapping for night-time imagery[J]. Information Fusion, 2010, 11(2): 69-77.

[14]Hogervorst M A, Toet A. Improved colour matching technique for fused nighttime imagery with daytime colours[C]// Proc. SPIE, 2016, 9987:99870J.

[15]Hogervorst M A, Toet A. Improved Color Mapping Methods for Multiband Nighttime[J]Image Fusion. 2017, 3(36): 1-25.

[16]王岭雪, 金伟其, 赵源萌, 等. 基于颜色查找表的双波段视频快速自然感彩色融合方法: 101867685 [P]. 2010-10-20.WANG Lingxue, JIN Weiqi, Zhao Yuanmeng, et al. Fast natural color fusion method of dual-band video based on color look-up table:101867685[P]. 2010-10-20.

[17]金真. 基于多维信息颜色查找表的计算彩色成像[D]. 北京: 北京理工大学, 2015.JIN Zhen. Computational Color Imaging based on the Color Look-up Table of Multidimensional Information [D]. Beijing: Beijing Institute of Technology, 2015.

[18]姜曼. 基于二维颜色查找表的双波段彩色图像融合算法研究[D]. 北京: 北京理工大学, 2015.JIANG Man. Study on double-band color image fusion algorithm based on 2-D color look-up table[D]. Beijing: Beijing Institute of Technology,2015.

[19]McClelland J L, Rumelhart D E. PDP Research Group. Parallel distributed processing[M]. Cambridge, MA: MIT press, 1987.

[20]Hecht-Nielsen R. Theory of the backpropagation neural network[J].Neural Networks, 1988, 1(s1): 445-448.

[21]Toet A. TNO Image fusion dataset [DB/OL]. [2014-4-26]. http://dx.doi.org/10.6084/m9.figshare.1008029.

[22]Toet A, Hogervorst M A, Pinkus A R.. The TRICLOBS Dynamic Multiband Image Dataset [DB/OL]. [2016-10-8]. https://figshare.com/articles/The_TRICLOBS_Dynamic_Multiband_Image_Dataset/3206887.

[23]YUAN Y, ZHANG J, CHANG B. Objective quality evaluation of visible and infrared color fusion image[J]. Optical Engineering, 2011, 50(3):103-108.

[24]高绍姝, 金伟其, 王岭雪, 等. 基于颜色协调性的典型场景彩色融合图像颜色质量评价[J]. 北京理工大学学报, 2012, 32(10): 1054-1060.GAO Shaoshu, JIN Weiqi, WANG Lingxue, et al. Color-Quality Assessment for Color Fusion Images of Typical Scenes Based on Color Harmony[J]. Transactions of Beijing Institute of Technology, 2012,32(10): 1054-1060.