0 引言

近年来，国产高分卫星得到了快速发展，然而，相比于QuickBird和IKONOS等国外卫星影像，部分国产高分卫星(如高分一号(GF-1)、高分二号(GF-2)和吉林一号等)各波段影像相对较模糊。因此，有针对性地发展国产高分卫星遥感影像全色/多光谱波段的融合方法，以提高影像数据的整体质量十分必要。

（1）色谱条件：XbridgeTM-C18色谱柱（250 mm×4.6 mm，5 μm）；填充剂为十八烷基硅烷键合硅胶；流动相为乙腈-0.5%氨水，梯度洗脱：0～45 min，30%～60%乙腈；45～80 min，60%～80%乙腈；80～120 min，80%乙腈；体积流量0.5 mL/min；检测波长235 nm；柱温30 ℃；进样量20 μL。

第三步，对于跨年度持续的光亮像元，如果后一年亮于前一年，则不做修正；如果前一年亮于后一年，则后一年的低DN值用前一年的高DN值替换，使其像元灰度值不超过后期年度的值。

全色/多光谱影像融合方法起源于20世纪80年代[1-2]。1986年SPOT-1卫星同时提供全色和多光谱影像以来，融合方法得到了近30 a的快速发展。一般而言，融合方法可归为3类[3-4]： 成分替换类融合方法、多分辨率分析融合方法和基于模型的融合方法。其中，成分替换类方法是最简单的也是最流行的融合方法，该类方法已被广泛应用到了ENVI和ERDAS等专业遥感软件中。该类方法首先基于光谱变换得到亮度分量，然后通过全色影像替换亮度分量的方式对多光谱影像进行空间信息增强，经典方法有主成分分析融合方法[5]、Gram-Schimidt(GS)融合方法[6]、Intensity-Hue-Saturation (IHS) 融合方法[5]等。多分辨率分析融合方法基于小波变换或拉普拉斯金字塔等工具提取全色影像的高空间结构信息，并采用一定的注入模型将提取的空间结构信息注入到多光谱影像中得到高空间分辨率融合影像[7]，如多孔小波融合方法[8]、拉普拉斯金字塔融合方法[9]和Contourlet 小波融合方法[10]等。针对成分替换类融合方法和多分辨率分析融合方法，Tu 等[11]进一步将其扩展到同一个融合框架，很大程度上促进了全色/多光谱融合方法的发展。

尽管已提出了大量成分替换类融合方法和多分辨率分析融合方法，然而这些方法都是根据某种假设进行简单正向求解得到融合影像，缺少强有力的数学理论基础和严密的逻辑关系，因此基于模型的影像融合方法 [12-15] 的开发得到了广泛关注。该类方法将融合影像的求解过程看成病态逆问题，基于影像观测模型建立能量函数，通过优化求解得到融合影像。其中，基于变分的融合方法[16-17]最具代表性，其建立的能量函数总体可分为3项： 光谱保真项、空间增强项和先验项，三者之中光谱保真项和空间增强项最为关键。然而现有方法中这2项对影像数据特点考虑不足，主要表现为光谱保真项仅简单考虑融合影像各波段与多光谱观测影像对应波段之间一对一的空间降质关系，对影像波段间光谱关系考虑不足； 空间增强项则未顾及国产卫星全色影像存在的模糊降质问题。

通过连续的迭代逼近运算得到融合影像，迭代公式为

1 理论与方法

式中： =[H,V]T表示梯度算子，H表示水平方向，V表示垂直方向； S表示模糊算子。此外，考虑到多光谱影像各波段和全色影像灰度范围可能存在的不一致，在空间增强项中引入矩匹配操作，即

班干部是班主任开展工作的得力助手，是形成班集体的核心力量。班风建设是否顺利和卓有成效，很大程度上取决于班干部的能力。因而，选择和培养班干部，是班主任必须认真做好的一项工作，不能鲁莽行事，要三思而行。班干部是要通过学生自荐、班主任考察、候选人发表自己对班干部工作的见解，再经同学们投票选出，最后根据个人的能力和特长，再任命各班委成员，使这些班委成员充满信心，充分发挥自己的才能，做好自己的本职工作。

E(X)=fspectral(Y,X)+fspatial(Z,X)+fprior(X) ,

(1)

式中： fspectral(Y,X)为光谱保真项，建立融合影像X与多光谱影像Y之间的关系； fspatial(Z,X)为空间增强项，建立融合影像X与全色影像Z之间的关系； fprior(X)为先验项。

1.1 改进的三维光谱高保真项

,

，

(2)

式中：A表示模糊降采样过程； b表示波段序号。然而，该保真项对多光谱影像波段与波段之间的光谱关系考虑不足，故提出基于光谱梯度的三维光谱高保真项，即

,

(3)

式中：该三维光谱高保真项不仅建立了融合影像与多光谱影像间的空间降质关系，同时基于光谱维梯度顾及了融合影像各波段间的光谱关系保持，可进一步提升融合模型的光谱保真能力。

1.2 改进的空间增强项

传统空间增强项假设理想高空间分辨率融合影像和全色影像具有相似的空间结构信息，然而，通过比较国产卫星(如GF-1，GF-2和吉林一号等)全色影像与国外卫星(QuickBird和IKONOS等)全色影像发现，国产高分卫星全色影像相对较模糊。基于梯度结构信息，提出顾及全色影像模糊降质的改进空间增强项，合理建立理想高空间分辨率融合影像与全色影像之间的关系，即

fspatial(Z,Xb)=‖ Z- ,

(4)

充分考虑融合影像与全色、多光谱影像之间的关系，以及国产高分卫星影像特点，提出一种基于变分的全色/多光谱高保真融合方法。假设融合影像为X=[X1,X2，...，XB]T，其中B为波段数，原始多光谱影像为Y=[Y1,Y2，...，YB]T，全色影像为Z，则融合模型表示为

fspatial(Z,Xb)=‖ Z-f( ,

(5)

式中f(·)表示矩匹配函数[19]。

1.3 融合模型与优化求解

基于改进的三维光谱高保真项和顾及全色影像模糊降质的空间增强项，并结合经典拉普拉斯先验建立融合目标函数，即

比较典型者，如朱权在对元曲进行风格分类时，其“新定府体一十五家”冠以诸如“承安体(华观伟丽)”“西江体(文采焕然，风流儒雅)”[11](P13-14)这类的评价，反映出他对元曲艺术成就的高度认同。

,

师者，生之典范也。教师的行为方式、情绪状态、人格特征等都会成为学生模仿的对象，在潜移默化中影响学生。所以，只有身心健康的教师才能培养出身心健康的学生。

式中： ΔH和ΔV分别为水平方向和垂直方向上的拉普拉斯运算； (·)std为标准差运算。

(6)

式中λ1和λ2为正则化参数。

针对目标函数，通过梯度下降法求解得到融合影像。

对式(6)求导，即

,

(7)

大同市二轻局有位退休老干部，知道李建明收藏，分文不取，送他一枚直径十厘米、上有“一定要解放台湾”字样的毛主席像章。最难忘的一件事，李建明说，是2002年左右那次去哈尔滨出差。走时给铁岭的一位毛主席像章收藏者，带了一尊大同市煤矸石雕刻的毛主席像。办完事儿，他给对方去电，说是将礼物放在那个单位，对方有时间了来拿。不想对方盛情邀请，你都大老远从山西过来了，不差这一点儿时间，过来吧，过来吧。雪天，路滑，赶到时已是傍晚了。一桌子丰盛的饭菜，冒着热气。对方是个工艺师，临走时送了李建明用猛犸象牙、黄杨木雕刻以及泥塑的毛主席像一套。回来后，他过意不去，又给对方寄去一些毛主席像章。

设专家Sk(Sk∈S)对造价影响因子Cj(Cj∈C)的评价值用梯形模糊数表示为其中，和分别表示专家Sk给出的关于工程Ni在影响因子Cj下的隶属与不隶属于直觉梯形模糊数的程度，其中本文将专家Sk的直觉梯形模糊决策矩阵表示为：

因此，针对上述问题，本文提出一种基于变分的国产高分卫星全色/多光谱融合方法。该方法充分考虑国产高分卫星影像特点，基于光谱梯度的三维光谱高保真项和顾及全色影像模糊降质的改进空间增强项，对国产高分卫星遥感影像在有效提升多光谱影像空间分辨率的同时，最大程度地保持其光谱信息。

E(Xb,n) ,

(8)

式中： n为迭代次数； tb,n为第b波段的迭代步长，通过对目标函数进行二阶泰勒级数展开得到。迭代终止条件为

传统光谱保真项基于多光谱影像模型[1, 15, 18]，建立融合影像各波段与多光谱影像相应波段之间一对一的空间降质关系，表示为

(9)

式中d为预设迭代终止阈值，本文设置为10-7。

2 实验与分析

选用GF-1和GF-2国产卫星影像进行融合实验。其中，GF-1影像数据获取地点为捷克某地，获取时间为2013年4月28日，全色影像空间分辨率为2 m，多光谱影像空间分辨率为8 m。GF-2影像数据获取地点为伊朗某地，获取时间为2014年9月4日，全色影像空间分辨率为0.81 m，多光谱影像空间分辨率为3.24 m。为了进行全面验证，所选用实验数据包含了植被、水体、建筑物和农田等多种地表覆盖类型，并基于模拟实验和真实实验，从定性和定量2方面分别对融合方法进行评价分析，其中定量评价采用全色/多光谱融合中4个最常用的评价指标，包括相关系数 (correlation coefficient，CC)[15]、峰值信噪比(peak signal-to-noise ratio，PSNR)[20]、相对全局误差 (relative dimensionless global error in synthesis，ERGAS)[21]和光谱角(spectral angle mapper，SAM)[15]。此外，提出方法与典型的GS融合方法、局部自适应成份替换融合方法(partial replacement adaptive component substitution，PRACS) [22]和ATWT-M3融合方法[8]进行比较分析。为了进一步验证改进的三维光谱高保真项在融合影像光谱保持上的优势，实验结果与基于传统光谱保真项的融合结果也进行了对比。本文提出方法中模型参数根据大量实验测试以人工经验设定，除特别说明外，参数设置为： λ1=10，λ2=0.001，空间增强项模糊核大小根据全色与多光谱空间分辨率比率设定为(2r+1)×(2r+1)，其中空间分辨率比率r=4，方差为0.5。

2.1 模拟实验

根据Wald等[23]提出的获取参考影像的方法，首先，按全色和多光谱影像空间分辨率比率对原始影像数据进行空间降质； 然后，原始多光谱影像作为参考影像对融合结果进行评价。模拟实验采用GF-1和GF-2卫星影像数据，实验结果分别如图1和图2所示。从定性评价方面，GF-1实验结果中GS方法具有较好的空间结构信息，但存在较大的光谱畸变； PRACS和ATWT-M3的融合结果光谱保持较好，但空间结构信息较模糊。相比于其他方法，本文方法在2种光谱保真项模式下均能取得较好的融合效果，在色彩上更加接近参考影像，同时空间结构更加清晰。与GF-1融合结果相比，GF-2模拟实验结果视觉上GS方法融合效果在光谱上有所改善； 其他方法展现出与GF-1类似的实验结果。进一步开展定量评价研究，定量评价结果如表1和表2所示。

 

(a) 多光谱影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

 

(e) ATWT-M3方法 (f) 基于传统光谱保真项融合方法 (g) 本文方法 (h) 参考影像

图1 GF-1模拟实验结果

Fig.1 Fusion results of the GF-1 simulated experiment

 

(a) 多光谱影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

 

(e) ATWT-M3方法 (f) 基于传统光谱保真项融合方法 (g) 本文方法 (h) 参考影像

 

图2 GF-2模拟实验结果Fig.2 Fusion results of the GF-2 simulated experiment表1 GF-1模拟实验定量评价Tab.1 Quantitative evaluation of the fusion results in the GF-1 simulated experiment

  

评价指标融合方法GS方法PRACS方法ATWT-M3方法基于传统光谱保真项融合方法本文方法CC 0.841 7 0.857 9 0.860 70.884 8 0.894 0PSNR24.246 525.101 325.112 125.394 725.610 3ERGAS 6.340 5 5.838 7 5.891 95.580 7 5.462 1SAM 4.885 54.316 0 4.574 7 4.529 54.204 1

 

表2 GF-2模拟实验定量评价Tab.2 Quantitative evaluation of the fusion results in the GF-2 simulated experiment

  

评价指标融合方法GS方法PRACS方法ATWT-M3方法基于传统光谱保真项融合方法本文方法CC 0.979 4 0.976 6 0.973 30.990 1 0.990 8PSNR39.291 939.194 338.721 343.675 043.800 5ERGAS 0.672 1 0.707 4 0.779 70.423 6 0.416 2SAM 0.547 5 0.530 2 0.645 70.459 1 0.437 9

从表1和表2可以发现，相比于其他方法，本文方法定量评价结果最好，其中最优定量评价结果以加粗表示，次之以斜体表示。相比于传统光谱保真项，本文方法基于三维光谱保真项在光谱保持上也更有优势。其中，在CC，PSNR，ERGAS和SAM这4个定量评价指标中，SAM优势较为明显，这是因为改进的三维光谱保真项可更好地保持波段间光谱关系，具有更佳的光谱保持能力。

2.2 真实实验

基于原始GF-1和GF-2影像数据进行真实实验。由于在该实验中没有参考影像，根据Wald准则[23]，将融合影像重采样到与原始多光谱影像相同的空间分辨率进行定量评价。实验结果分别如图3和图4所示，表3和表4分别为定量评价结果。通过与模拟实验结果对比发现，真实实验在定性和定量上总体展示了类似的结果。但是，GF-2真实实验中，GS融合结果在目视上具有较好的空间结构信息，这是因为在该实验数据中，多光谱影像白色建筑物在重采样过程中存在较为明显的膨胀现象，导致多光谱影像与全色影像存在一定的地物不匹配现象，GS方法通过全部成分替换的方式更有利于空间信息的增强，而这也造成了其融合影像的光谱信息存在一定的损失，可从表3和表4定量评价指标上明显看出。在进行实验对比的各种方法中，本文提出的改进高保真融合方法在光谱保持和空间信息增强方面总体表现最好，相比于传统光谱保真项，在所有定量评价指标上均有所提升，其中以SAM提升最为明显，分别提升了19%和40%，具有明显的优势。

 

(a) 多光谱影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

 

(e) ATWT-M3方法 (f) 基于传统光谱保真项融合方法 (g)本文方法

图3 GF-1真实实验结果

Fig.3 Fusion results of the GF-1 real experiment

 

(a) 多光谱影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

 

(e) ATWT-M3方法 (f) 基于传统光谱保真项融合方法 (g) 本文方法

 

图4 GF-2真实实验结果Fig.4 Fusion results of the GF-2 real experiment表3 GF-1真实实验定量评价Tab.3 Quantitative evaluation of the fusion results in the GF-1 real experiment

  

评价指标融合方法GS方法PRACS方法ATWT-M3方法基于传统光谱保真项融合方法本文方法CC 0.798 0 0.996 4 0.994 20.997 4 0.998 0PSNR25.913 044.590 542.419 045.775 146.892 2ERGAS 4.239 4 0.542 2 0.697 50.449 60.403 2SAM 6.218 9 0.426 4 0.581 90.406 0 0.328 7

 

表4 GF-2真实实验定量评价Tab.4 Quantitative evaluation of the fusion results in the GF-2 real experiment

  

评价指标融合方法GS方法PRACS方法ATWT-M3方法基于传统光谱保真项融合方法本文方法CC 0.948 4 0.988 1 0.991 40.992 00.994 0PSNR30.268 138.633 939.046 639.441 140.442 4ERGAS 1.153 5 0.491 7 0.492 10.445 9 0.391 6SAM 0.349 90.290 20.355 0 0.418 20.250 8

3 结论

本文针对现有全色/多光谱融合方法对国产高分卫星遥感影像数据特点考虑不足的缺点，提出了一种针对国产高分卫星全色/多光谱遥感影像的高保真变分融合方法。

1)在模型构建中，充分考虑融合影像波段间关系保持，发展了基于光谱梯度的三维光谱高保真模型，并考虑国产卫星全色影像模糊降质的问题，进一步发展了顾及全色降质的空间增强模型。

2)实验结果表明，本文方法相比于对照实验的其他方法，具有良好的光谱信息保持和空间信息增强能力，针对国产卫星影像可得到最优的融合结果。

受杜家台分洪闸开闸分流影响，仙桃站于6日18时出现洪峰，比预报时间提前26小时，水位为35.46 m，比预报值低0.74 m；汉川站于6日21时出现洪峰，比预报时间早29小时，水位为30.34m，比预报值低0.66m。

3)不足之处在于现有方法求解效率相对较低，后期研究将引入并行计算等加速策略，进一步提升模型求解效率。

参考文献(References)：

[1] Shen H F,Meng X C,Zhang L P.An integrated framework for the spatio-temporal-spectral fusion of remote sensing images[J].IEEE Transactions on Geoscience and Remote Sensing,2016,54(12):7135-7148.

[2] 张良培,沈焕锋.遥感数据融合的进展与前瞻[J].遥感学报,2016,20(5):1050-1061.

Zhang L P,Shen H F.Progress and future of remote sensing data fusion[J].Journal of Remote Sensing,2016,20(5):1050-1061.

[3] Aiazzi B,Alparone L,Baronti S,et al.Twenty-five years of pansharpening:A critical review and new developments[M]//Chen C H.Signal and Image Processing for Remote Sensing.2nd edition.Boca Raton,FL: CRC Press,2012:533-548.

[4] Vivone G,Alparone L,Chanussot J,et al.A critical comparison among pansharpening algorithms[J].IEEE Transactions on Geoscience and Remote Sensing,2014,53(5):2565-2586.

[5] Chavez Jr P S,Sides S C,Anderson J A.Comparison of three different methods to merge multiresolution and multispectral data: Landsat TM and SPOT panchromatic[J].Photogrammetric Engineering and Remote Sensing,1991,57(3):295-303.

[6] Laben C A,Brower B V.Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening:United States,6011875[P].2000-01-04.

[7] Meng X C,Li J,Shen H F,et al.Pansharpening with a guided filter based on three-layer decomposition[J].Sensors,2016,16(7):1068.

[8] Ranchin T,Wald L.Fusion of high spatial and spectral resolution images:The ARSIS concept and its implementation[J].Photogrammetric Engineering and Remote Sensing,2000,66(1):49-61.

[9] Alparone L,Aiazzi B.MTF-tailored multiscale fusion of high-resolution MS and Pan imagery[J].Photogrammetric Engineering and Remote Sensing,2006,72(5):591-596.

[10] 李文静,温文鹏,王清和.基于Contourlet变换的遥感图像融合方法研究[J].国土资源遥感,2015,27(2):44-50.doi:10.6046/gtzyyg.2015.02.07.

Li W J,Wen W P,Wang Q H.A study of remote sensing image fusion method based on Contourlet transform[J].Remote Sensing for Land and Resources,2015,27(2):44-50.doi:10.6046/gtzyyg.2015.02.07.

[11] Tu T M,Su S C,Shyu H C,et al.A new look at IHS-like image fusion methods[J].Information Fusion,2001,2(3):177-186.

[12] Meng X C,Shen H F,Li H F,et al.Improving the spatial resolution of hyperspectral image using panchromatic and multispectral images:An integrated method[C]//Proceedings of the 7th Workshop on Hyperspectral Image and Signal Processing:Evolution in Remote Sensing (WHISPERS).Tokyo,Japan:IEEE,2015:1-4.

[13] 孟祥超,沈焕锋,张洪艳,等.基于梯度一致性约束的多光谱/全色影像最大后验融合方法[J].光谱学与光谱分析,2014,34(5):1332-1337.

Meng X C,Shen H F,Zhang H Y,et al.Maximum a posteriori fusion method based on gradient consistency constraint for multispectral/panchromatic remote sensing images[J].Spectroscopy and Spectral Analysis,2014,34(5):1332-1337.

[14] Meng X C,Shen H F,Zhang L P,et al.A unified framework for spatio-temporal-spectral fusion of remote sensing images[C]//Proceedings of IEEE International Geoscience and Remote Sensing Symposium (IGARSS).Milan,Italy:IEEE,2015:2584-2587.

[15] Zhang L P,Shen H F,Gong W,et al.Adjustable model-based fusion method for multispectral and panchromatic images[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B (Cybernetics),2012,42(6):1693-1704.

[16] Ballester C,Caselles V,Igual L,et al.A variational model for P+XS image fusion[J].International Journal of Computer Vision,2006,69(1):43-58.

[17] Palsson F,Sveinsson J R,Ulfarsson M O.A new pansharpening algorithm based on total variation[J].IEEE Geoscience and Remote Sensing Letters,2014,11(1):318-322.

[18] Shen H F,Zhang L P,Huang B,et al.A MAP approach for joint motion estimation,segmentation, and super resolution[J].IEEE Transactions on Image Processing,2007,16(2):479-490.

[19] Li H F,Zhang L P,Shen H F,et al.A variational gradient-based fusion method for visible and SWIR imagery[J].Photogrammetric Engineering and Remote Sensing,2012,78(9):947-958.

[20] Wang Z,Bovik A C.Mean squared error:Love it or leave it? A new look at signal fidelity measures[J].IEEE Signal Processing Magazine,2009,26(1):98-117.

[21] Wald L.Quality of high resolution synthesised images: Is there a simple criterion?[C]//Proceedings of the 3rd Conference “Fusion of Earth Data:Merging Point Measurements,Raster Maps and Remotely Sensed Images”. Sophia Antipolis,France:SEE/URISCA,2000:99-103.

[22] Choi J,Yu K,Kim Y.A new adaptive component-substitution-based satellite image fusion by using partial replacement[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(1):295-309.

[23] Wald L,Ranchin T,Mangolini M.Fusion of satellite images of different spatial resolutions:Assessing the quality of resulting images[J].Photogrammetric Engineering And Remote Sensing,1997,63(6):691-699.