1 引言

主成分分析PCA(Principal Component Analysis)，也称Karhunent-Loeve变换，是模式识别中重要的一种正交线性变换。该方法将样本在多维空间中最大变化方向，也即方差最大方向，作为投影方向，实现数据的压缩、特征提取和降维。主成分就是原始数据的各个变量经过线性组合所得变量，其方差最大(即第一主成分)。各个主成分彼此正交互不相关。主成分分析的计算首先是将原始数据的协方差矩阵特征分解，或是把原始数据矩阵奇异值分解，特征值(表示了方差大小)按照降序排列，得到相应的特征向量；然后根据这些特征向量，即主成分，将原始数据投影到新的坐标中[1]。

当PCA应用于图像处理领域中时，例如人脸识别，都要进行矩阵的向量化处理，这样一方面产生高维向量，导致计算量巨大，而且很难精确估计协方差矩阵；另一方面，图像拉直为向量后，只能部分地保持像素之间的邻近关系，从而丢失了像素之间的空间信息。基于此，直接在图像矩阵上进行PCA降维引起了研究者的极大兴趣，产生了许多研究成果[2 - 6]。这些方法直接在图像矩阵上构造协方差矩阵维数要小得多，同时也不改变图像像素之间的空间关系，计算量显著降低。

2004年,Ye等人[6]提出的广义主成分分析GPCA(Generalized Principal Component Analysis)就是一种基于图像矩阵的PCA推广算法。给定k幅均值为0的图像[A1,A2,…,Ak]∈Rm×n，GPCA的目的是要求解两个列向量相互正交的矩阵L∈Rm×p和R∈Rn×q，使其满足为最大。矩阵L,R可以通过图像行协方差矩阵和列协方差矩阵的迭代计算求得。这样每一幅图像都由矩阵L,R通过式(1)投影为一个新的矩阵Bi∈Rp×q:

实验利用UCI公共数据集和交通数据集对比ICSA-ECOC方法和经典编码方法的分类效果.UCI公共数据集及各类数据描述如表1所示[5].

如果一个企业的文化中原本就包含着 “追求创新、鼓励改善”的思想，那么对精益思想的抗拒很快就会变成变革的动力；相反如果企业文化保留着传统的生产思想，那么这种抗拒就会对企业精益转型造成巨大的阻碍。

Bi=LTAiR

(1)

尽管PCA和GPCA都是将数据投影到有更大方差的维度上，这两种算法在含噪声的情形时并没有考虑信噪比SNR(Signal-to-Noise Ratio)。如果噪声的方差较大，选取方差较大的主成分重构信号就无法抑制噪声，反而会提取出噪声，扭曲信号。 因此，Green 等人[7]基于信噪比的最大化提出了另一种统计方法——最大噪声分离法MNF(Maximum Noise Fraction transform)。此后，Lee等人[8]用包含噪声白化和PCA两步法解释MNF。Green等人[7]用MNF有效地消除遥感多光谱图像噪声；MNF还广泛应用于遥感图像特征提取和分类[9 - 12]；此后MNF也被用于遥感图像融合[13]和基于高光谱图像的异常检测技术[14,15]；

计算均值

在MNF中，假定k个向量Ai+Ni∈Rm×1(i=1,2,…,k)已经过中心化处理，即均值为0，其中Ni和Ai分别为噪声项和信号项，且是相互独立的。则信号的协方差矩阵为Σ=ΣA+ΣN，这里ΣA和ΣN分别为信号项和噪声项的协方差矩阵。在噪声项上应用PCA得到:

VTΣNV=ΛN

(2)

其中，ΛN和V分别为ΣN的特征值和对应的特征向量构成的矩阵，ΛN是对角矩阵，即其对角元素为特征值。令满足FTΣNF=I，I为单位矩阵。用矩阵F对协方差矩阵Σ加权，构造新形式的数据协方差矩阵ΣNA:

ΣNA=FTΣF=FTΣAF+I

(3)

若不考虑噪声，根据GPCA，可以按照式(7)的定义求得矩阵和但在考虑噪声的情况下，为了减少噪声的影响，重新定义矩阵MR和ML。首先构造矩阵FR和FL 满足:

UTΣNAU=ΛNA

(4)

类似地，U和ΛNA分别是协方差矩阵ΣNA的特征值和所对应的特征向量构成的矩阵。于是MNF所得的投影矩阵为:

H=UF

(5)

从上面可以看到，求解MNF的变换矩阵H实际上是做了两次PCA，第一次应用PCA得到矩阵F将噪声项从协方差矩阵中分离，这实际上是噪声的白化处理；然后对白化后的数据ΣNA进行PCA变换，得到矩阵U。虽然MNF最后分解结果与PCA类似，但是它的较大的特征值对应的是信噪比较高的数据，小特征值对应的是信噪比较低的数据，这样即使噪声的方差大，MNF也能将噪声抑制，有效地重构出有用信号。

合理的绩效目标是进行科学绩效评价的前提，探索和建立农业科研项目绩效目标，将使得评价过程更为合理，从而实现农业科研项目的经济效益、社会效益。相关科研人员应当立足科研项目本身，结合农业科研项目的具体特点，根据项目研究所要达到的目的设定绩效目标。科研管理人员应当注重绩效目标的具体化，对目标进行细化、分解，对不符合要求的目标予以调整，实现目标管理全过程、全覆盖。明确的绩效目标可以帮助科研人员对项目进展及时进行监控，不断纠正项目执行过程中的偏差，更大程度上发挥目标管理的功能，使得绩效评价成为一项有效的管理手段。

然而，MNF仍然是将图像拉直为向量表示，所以PCA中所存在的计算量大、存储空间大、像素空间位置信息丢失等问题依然存在。本文将基于信噪比最大化来推广GPCA，这对于含噪图像的处理具有实际意义，图像的空间信息和信噪比最大化两个特性将同时得以保持。

2 广义主成分分析(GPCA)

传统的主成分分析(PCA)需要将图像转化为向量操作，这样导致两个问题。其一，产生了高维的数据。比如尺寸为m×n的图像转化后的向量维数为mn，PCA中需要计算的协方差矩阵大小则为mn×mn。这样无论是存储空间上还是计算上代价都是巨大的。其二，丢失了像素空间位置信息。图像是二维信号，像素间的空间位置信息是其本质属性。基于此，Ye等人[6]提出了广义主成分分析算法GPCA。

给定k幅图像为图像均值，令就是求取列向量相互正交的变换矩阵L∈Rm×p和R∈Rn×q，使其满足:

 

 

 

(6)

此时，由变换矩阵L和R可将图像变换为Bi:

 

(7)

给定k幅含噪声的图像ANi,经过中心化处理后为其均值为0，记其中Ai和Ni分别表示不含噪声部分和噪声部分。按照GPCA理论，可以得到其右协方差矩阵MR和左协方差矩阵ML:

 

(8)

与PCA不同，GPCA没有闭合形式的解，需要通过迭代算法求解变换矩阵L和R。具体来说，迭代算法中根据初始赋值构建右协方差矩阵MR和左协方差矩阵ML:

11. 在矩阵上应用计算

 

 

(9)

然后取矩阵ML的前p个最大特征值所对应的特征向量构建矩阵L，取矩阵MR的前q个最大特征值所对应的特征向量构建矩阵R，由式(7)求得Bi∈Rp×q;然后再重构原图像并求与原图像的均方根误差RMSE(Root Mean Square Error)值(或者均方误差MSE(Mean Square Error))，通过比较前后两次的RMSE值确定算法是否结束。图1是GPCA的算法流程图。

尽管理论上GPCA的迭代算法收敛于局部最小值，且取决于初始值；但实验中发现，只要初始矩阵L取单位矩阵，结果就已经非常好，而且收敛速度很快，通常经过2至4次迭代就会收敛。相比较于PCA，GPCA在存储空间上和计算代价上更小，在图像压缩和图像检索方面表现也更好[6]。

唐小果蹦跶（）起来，将超人面具、球棒、人字拖一股脑儿塞进书包，拿起数码摄像机，打开手机地图，朝糖龙说：“一切准备完毕，出发吧！糖人国！”

下面在考虑含噪声的情况下，对GPCA算法进行推广，使算法不仅保持图像空间信息，而且在重构时信噪比最大化。

  

Figure 1 Flow chart of GPCA图1 GPCA算法流程图

3 提出的算法

GPCA是对PCA在二维矩阵形式上的推广，而MNF是信噪比最大化形式的PCA，以下对GPCA在二维矩阵上做信噪比最大化的推广，这里称之为广义最大噪声分离算法GMNF(Generalized Maximum Noise Fraction)，它一方面在二维空间上将大小为m×n的图像投影为大小为p×q的矩阵，投影后矩阵比原图像更小，从而节省存储空间；另一方面在重构原图像时使得信噪比增加。

也可以很容易由变换矩阵L、R和Bi重构回原图像:

嘉庆亲政抓的第一件事就是反腐败。虽然早就认识到这个问题关乎大清的生死存亡，然而他还是大大低估了反腐战争的艰巨性。他以为，如果“掐断了和珅的庇护制网络结构的花朵，它的根株便会自然枯萎”。杀掉了和珅，清除了和珅的党羽，再掀起一个惩贪高潮，腐败的势头就会应声而止。

 

 

 

 

(10)

此式实际上实现了在协方差矩阵中将噪声项与信号项的分离。接着在新的协方差矩阵ΣNA上应用PCA可得:

 

 

(11)

从而由式(10)和式(11)可得MR和ML新的形式和

 

 

(12)

接着引入变换矩阵和它们分别包含了矩阵和的前q、p个最大的特征值所对应的特征向量。于是由变换矩阵和可将含噪图像ANi变换为矩阵Bi:

 

(13)

实际计算时采用迭代算法求解变换矩阵和仿照GPCA算法，下面给出GMNF算法的伪代码。

算法1 GMNF (AN1,AN2,…,ANk,d)

输入:AN1,AN2,…,ANk,d,threshold;

没有洗澡。一切随兴而起。白日被汗液和阳光渗透的肌肤，带有黏腻的触感和气味，却更使人缠绵纠葛，也是他从未有过的特别体验。她的身体纤瘦有力，肌肤如玉石清凉，肉身如同黑洞，本能吸收对峙融合中的力量和矛盾，神情却始终有一种镇定自若。略带冷淡，一言不发，冷眼旁观他的兴奋。他确信她是经验丰富的女子，对肉身有出自天性的爱慕痴缠。一个24岁心意深邃的东方女子。她的过往、历史和秘密无从探测。

输出:

现状水质和目标水质差距较大的水功能区，综合考虑水功能区水质现状、水功能区达标需求、社会经济发展水平等因素，确定限制排污总量。滹沱河上中游各个水功能区限制排污总量详见表2。

开始

式中,c是光在自由空间中的传播速度,而εeff是基板的有效介电常数。从式(2)中可以看出,谐振器的奇模谐振频率不会受到任何加载枝节线的影响。

2.for i from 1 to k do begin

 

4.end

 

6.j←0;

7.RMSE(j)←∞;

8.do

9. 构建矩阵

10. j←j+1;

这五个问题看似简单，其实每个问题都有明确的目标指向。从引领学生回忆2、5的倍数特征，类推猜想3的倍数特征，到学生对照数据，否定猜想，即从个位上看不出3的倍数的特征；从再次猜想，借助计数器拨珠求总颗数，发现3的倍数的共同规律，到再次举例验证，得出3的倍数特征；最后教师借助小棒进行演绎推理，从另一个角度更深入地解释和确认3的倍数的特征，使上述结论更具说服力，引领学生了解执果索因的论证方法，感受知识之间的内在联系。

谈及“你如何看待专业技术的作用？”时，许多被访者都认为，目前我国殡仪馆硬件设施建设都有很大的提高，亟待加强的是信息化、科技化、人文化的软件技术及服务理念。但在增强专业技术和管理服务的同时，殡葬行业前辈的职业经验是新一代殡葬从业人员取之不尽的知识来源。因为，某些逝者家属会提出某些个人理想化的要求，当出现家属要求与专业实现度不统一的情况时，具有丰富职业经验的前辈会凭多年工作的实践经验处理好此类问题。这往往是新一代殡仪馆从业人员要通过个人多年实践才能获得的宝贵财富。

12. 构建矩阵按照矩阵的最大的q个特征值计算相应的特征向量

13. 构建矩阵

14. 构建矩阵

15. 在矩阵NL上应用计算

16. 构建矩阵按照矩阵的最大的p个特征值计算相应的特征向量

这首词创作于1933年夏天，这年6月上旬，在宁都召开了中共中央局会议（史称“第二次宁都会议”），毛泽东作为中央局成员出席了这次会议。会上，毛泽东提出了申诉，表达自己在前次宁都会议上受到了不公正的对待。

17. 构建矩阵

18. 计算变换矩阵

26.返回

21.until RMSE(j-1)-RMSE(j)≤threshold

 

23.for i from 1 to k do begin

 

25.end

19. 计算重构矩阵

结束

由上述算法可知,GMNF在计算的复杂度上和GPCA相比，只是增加了NR和NL的计算量。无论是GMNF还是GPCA，当p、q的值比较小时，重构时很多信息丢失，信噪比会很小；随着p、q值的增加，重构图像中增加越来越多的信息，信噪比也随之增加；但是随着p、q值的进一步增加，重构图像中也增加了越来越多的噪声，信噪比会降低。但是，下面的实验中会发现，在信噪比方面，GMNF比GPCA的性能更好。此外，对于GMNF和MNF都有一个噪声水平的估计问题，也就是噪声协方差矩阵的估计，但是这并不是本文要讨论的问题所在。在下面的实验中，都是假定噪声样本已知。在实际中可以在不同噪声水平上重复多次实验，以取得最好结果。

4 实验结果及其讨论

为了验证提出的GMNF算法的有效性，在以下两个数据库上与GPCA算法进行实验比较。第一个是Yale B人脸数据库[16]，包含10个人，每人9种姿态下64种光照变化图像，共5 850幅人脸图像。每幅图像大小为192×168。图2中是Yale B人脸库中部分样本。

  

Figure 2 Some samples of Yale B face database图2 Yale B 人脸数据库部分图像

第二个数据库是斯坦福大学的SCIEN高光谱图像库[17]，这个图像库中包含了人脸、风景和建筑物等各种图像。光谱波长范围从0.4 μm到2.5 μm，包含了可见光、近红外和短波红外的光谱范围。实验中选取其中的一个子图像库，图像采集自Stanford Tower某一区域，每幅图像大小为794×998，包含148个波段。图3是该图像库中部分波段的图像。

  

Figure 3 Some samples of Stanford SCIEN hyperspectral image database图3 斯坦福大学SCIEN高光谱图像库部分图像

实验中，我们先对图像库中的图像添加三种不同强度的高斯噪声。当然，噪声信息假定是未知的。在不同维数的情形下由GMNF和GPCA分别重构图像，并与原图像相比较，计算其均方误差MSE值。MSE是一个从全局上评价两幅图像之间相似(或者说扭曲)程度的指标。均方误差与峰值信噪比PSNR(Peak Signal-to-Noise Ratio)存在一个简单换算关系其中L是图像强度的动态范围值，如8位的灰度图像取值即为255。所以，MSE指标也可以用来观察信噪比的变化。

由地均第二、第三产业增加值方程可知：在10%显著性水平下，土地综合承载力是地均第二、第三产业增加值的Granger原因；在5%显著性水平下，人均GDP是地均第二、第三产业增加值的Granger原因；在1%显著性水平下，两者的联合发展是地均第二、第三产业增加值的Granger原因。这表明区域经济发展质量提高是在区域经济发展水平增加的前提下，与京津冀城市群土地综合承载力协调发展的结果。

在Yale B人脸数据库的实验中，添加高斯噪声后，含噪图像信噪比分别为SNR=35 dB，SNR=25 dB和 SNR =15 dB。由于原图像大小为192×168，所以降维后图像中p值分别取40,60,80,…,180，q值按原图比例可分别求得。图4中是不同维数p值情形下GMNF和GPCA算法重建图像的MSE值的比较。

  

Figure 4 Simulation results of Yale B face database with different noises图4 Yale B人脸库添加不同高斯噪声的重建图像仿真结果

  

Figure 5 Simulation results of Stanford Tower images with different noises图5 Stanford Tower高光谱图像库添加不同高斯噪声的重建图像仿真结果

对斯坦福大学SCIEN的Stanford Tower高光谱图像库，也添加了不同程度的高斯噪声，和原图像比较，信噪比分别为SNR=30 dB，SNR =20 dB和 SNR =10 dB。原图像大小为794×998，实验中降维后图像p值分别取60,120,180，…,720，q值按原图比例可分别求得。图5中是不同维数p值情形下GMNF和GPCA算法重建图像的MSE值的比较。

正如图4和图5所示，在噪声较小的情况下(图4a和图5a),GMNF和GPCA重建图像的MSE值相差较小；可是随着噪声增强，GMNF的重建图像结果则明显好于GPCA。在图4和图5所有图中，都近似存在一个最优点，也就是使得MSE最小的维数p值。由主成分分析原理，前面的特征向量(对应于较大的特征值)表示信号的低频部分，而后面的特征向量(对应于较小的特征值)表示信号的高频部分，在图像中就是噪声部分。于是，当维数逐渐增大时，包含的噪声也越来越多，重建图像的MSE值就会降低，而且两种算法的所得结果也会趋于一致。此外，还可以看到，随着噪声增加，最优点的值也随之减小。这是由于，在高噪声情况下，为了取得理想的MSE值，在逼近原图像的同时，就要尽可能地减少噪声，于是维数比较低，即最优点较小；而在低噪声情况下，一般图像质量随着维数增加而增加，最优点往往较大，MSE值随着维数增加近似于单调递减了(图4a和图5a)。

图6和图7分别是Yale B人脸数据库和Stanford Tower高光谱图像在低、中、高三种噪声情况下，在最优点处GPCA和GMNF的重建图像。图6从左至右分别为原图像、含噪图像、GPCA重建图像和GMNF重建图像；第一行到第三行的含噪图像信噪比分别为35 dB、25 dB和15 dB；第一行到第三行重建维数p值(最优点)分别为180、120和80。图7从左至右分别为原图像、含噪图像、GPCA重建图像和GMNF重建图像；第一行到第三行的含噪图像信噪比分别为30 dB、20 dB和10 dB；第一行到第三行重建维数p值(最优点)分别为360、300和180。实际上，过小的维数使得重建的图像丢失图像的细节，而过高的维数则加入了过多的噪声，这都将导致MSE值较大。从图中可以看出，GMNF的重建结果总体上要好于GPCA的重建结果，特别在高噪声情形下更为明显。

  

Figure 6 Experimental results of Yale B face database图6 Yale B 人脸数据库实验结果

  

Figure 7 Experimental results of Stanford Tower hyperspectal images图7 Stanford Tower高光谱图像实验结果

5 结束语

本文基于广义主成分算法GPCA提出了一种新的广义最大噪声分离算法GMNF。该算法利用了GPCA的优点，即基于矩阵的，而不是像PCA那样基于向量，它按照信噪比的最大化的方式提取特征图像。除了需要计算两个噪声矩阵以外，GMNF和GPCA在时间和计算复杂度上基本相同。实验结果显示，在低噪声情形下，GMNF和GPCA的结果近似；而在高噪声情形下，GMNF对原图像的重建结果要好于GPCA的重建结果。所以，GMNF可应用于各种情况。

参考文献:

[1] Jolliffe I T.Principal component analysis [M].Berlin:Springer,2002.

[2] Zhang D, Zhou Z.(2D) 2PCA:Two-directional two-dimensional PCA for efficient face representation and recognition[J].Neurocomputing,2005,69(1):224-231.

[3] Kumar B G V, Aravind R.Computationally efficient algorithm for face super-resolution using (2D) 2-PCA based prior[J].IET Image Processing,2010,4(2):61-69.

[4] Yang J,Liu C.Horizontal and vertical 2DPCA-based discriminant analysis for face verification on a large-scale database[J].IEEE Transactions on Information Forensics and Security,2007,2(4):781-792.

[5] Vidal R,Ma Y,Sastry S.Generalized principal component analysis (GPCA)[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(12):1945-1959.

[6] Ye J,Janardan R,Li Q.GPCA:An efficient dimension reduction scheme for image compression and retrieval[C]∥Proc of the 10th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining,2004:354-363.

[7] Green A A,Berman M,Switzer P,et al.A transformation for ordering multispectral data in terms of image quality with implications for noise removal [J].IEEE Transactions on Geoscience and Remote Sensing,1988,26(1):65-74.

[8] Lee J B, Woodyatt A S,Berman M.Enhancement of high spectral resolution remote-sensing data by a noise-adjusted principal components transform[J].IEEE Transactions on Geoscience and Remote Sensing,1990,28(3):295-304.

[9] Sun L,Rieger J,Hinrichs H.Maximum noise fraction (MNF) transformation to remove ballistocardiographic artifacts in EEG signals recorded during fMRI scanning [J].Neuroimage,2009,46(1):144-153.

[10] Liu X, Zhang B,Gao L,et al.A maximum noise fraction transform with improved noise estimation for hyperspectral images[J].Science in China Series F:Information Sciences,2009,52(9):1578-1587.

[11] Greco M, Diani M,Corsini G.Analysis of the classification accuracy of a new MNF based feature extraction algorithm[J].Remote Sensing,2006,22(5):1761-1785.

[12] Lin Na,Yang Wu-nian,Liu Han-hu.Mineral endmember identification and information extraction based on hyperspectral remote sensing[J].Remote Information,2011 (5):114-117.(in Chinese)

[13] Gu Hai-yan,Li Hai-tao,Yang Jing-hui.The remote sensing image fusion method based on minimum noise fraction [J].Remote Sensing for Land & Resources,2007(2):53-55.(in Chinese)

[14] Zhang Bao-hua, Huang Wen-qian,Li Jiang-bo,et al.Detection of slight bruises on apples based on hyperspectral imaging and MNF Transform [J].Spectroscopy and Spectral Analysis,2014,34(5):1367-1372.(in Chinese)

[15] Wang Kun,Qu Hui-ming.Anomaly detection method based on improved minimum noise fraction transformation [J].Laser Technology,2015,39(3):381-385.(in Chinese)

[16] Yale B face database[DB/OL].[2016-10-13].http://vision.ucsd.edu/content/extended-yale-face-database-b-b.

[17] Scien image database[DB/OL].[2016-09-13]. https://scien.stanford.edu/index.php/resources/image-databases-2/.

附中文参考文献：

[12] 林娜,杨武年,刘汉湖.基于高光谱遥感的岩矿端元识别及信息提取研究[J].遥感信息,2011 (5):114-117.

[13] 顾海燕,李海涛,杨景辉.基于最小噪声分离变换的遥感影像融合方法[J].国土资源遥感,2007(2):53-55.

[14] 张保华,黄文倩,李江波,等.基于高光谱成像技术和 MNF 检测苹果的轻微损伤[J].光谱学与光谱分析,2014,34(5):1367-1372.

[15] 王坤,屈惠明.基于改进最小噪声分离变换的异常检测算法[J].激光技术,2015,39(3):381-385.