更全的杂志信息网

利用局部稀疏不变特征的遥感影像检索

更新时间:2009-03-28

0 引言

随着遥感数据量呈几何级数的增长,如何从大容量的遥感影像库快速浏览和高效检索出感兴趣的目标或者影像成为了人们关注的焦点,也是目前遥感界迫切需要解决的问题之一。对于遥感影像数据库来说,一般的文字搜索模式的作用微乎其微。为了实现对遥感数据库的更精确、更高效的检索,近年来,基于内容的图像检索(content-based image retrieval, CBIR)技术在遥感图像检索中得到了广泛的应用[1-2]。与传统影像处理过程相似,特征提取是完成检索的核心内容,特征一般可分为低层视觉特征和高级语义特征。传统的检索方法主要是根据影像的低层视觉特征(如纹理、颜色和形状等)来进行检索[3],但是对于场景复杂、目标繁多的遥感影像来说,这些方法存在一定的局限性。局部不变特征(scale invariant feature transform,SIFT)[4-5]因具有较强的鲁棒性以及对不同场景和目标的独立性,在遥感影像检索中也得到了一定的应用[6]。由于SIFT特征提供的语义信息不充足,Yang等[7]提出了利用视觉词袋(bag of visual words,BOVW)[8]模型组合局部不变特征,通过构建视觉词典及空间金字塔匹配(spatial pyramid matching,SPM)[9]建立图像表示模型。进行遥感数据检索时,将影像的SIFT特征与BOVW模型结合在一起能够实现更好的影像检索功能[10],因而在影像分类和影像检索等遥感领域有广泛的应用。

然而,近10 a基于内容的遥感影像检索对影像提供的语义信息要求越来越高,传统的特征提取的方式不可能完全表达出影像的语义内容,因此,如何把影像的语义信息和机器提取的低层视觉特征联系在一起已经成为遥感领域基于内容检索的一大难题。与此同时,稀疏表示模型的研究[11]给遥感图像处理和计算机视觉等领域带来了深刻影响。基于过完备词典的稀疏表示是一种图像描述模型,利用词典中少量原子的线性组合来表示或者近似表示原始图像,实际上这些少量的原子已经捕获了图像的主要结构与本质属性。图像的稀疏表示模型不仅能获取图像有效的稀疏表达,还能揭示图像的语义信息。Mohamadzadeh等[12]提出使用稀疏表示进行图像检索的方法,该方法主要利用形状和纹理组合特征的稀疏表示进行图像检索,并认为稀疏表示特征可以减少检索时间和数据内存,简化搜索过程并尽可能找到需要的图像。但是相比SIFT特征的稀疏表示,上述2种组合的稀疏表示花费时间更多,过程更为复杂,这将会影响图像的检索效率。

本文提出的遥感影像检索新方法是通过基于图像SIFT特征的稀疏表示方式构建视觉BOVW,实现影像信号的有效描述,能够有效提高检索精度和效率,并且提取的稀疏表示特征在影像检索领域具有很强的适用性。

1 影像检索原理

本文提出的基于局部稀疏不变特征的遥感影像检索系统框架如图1所示。该系统的流程主要包括3个阶段: 建立稀疏表示特征数据库阶段、支持向量机(support vector machine,SVM)分类模型学习阶段和查询影像检索阶段。建立稀疏表示特征数据库阶段主要是对遥感影像数据库里每张影像提取的大量SIFT特征进行稀疏分解,获取的稀疏表示直接作为提取的影像特征,形成较大的特征数据库; SVM分类模型学习阶段是通过影像库里随机抽选的训练影像和测试影像学习并优化而获取一个最佳的分类模型,为后面的影像检索阶段提供相应指导; 查询影像检索阶段首先对训练好的SVM分类模型输入该影像的局部稀疏不变特征,接着SVM分类模型会判定查询影像所属的语义类别,最后查询影像在分类器输出的类别范围内进行相似度匹配,按照距离排名和评价,完成影像检索。

后现代主义教学观认为,教学即生命的形成。教学过程是富有生命意义的,它是生命的发生、创造、凝聚、发展的过程。教师在课堂要体现人文关怀,为学生创设有助其生命成长的环境,使学习过程成为学生享受生命情感、完成生命发展的过程。

图1 基于局部稀疏不变特征的遥感影像检索系统

Fig.1 Remote sensing image retrieval system based onsparse local invariant features

1.1 稀疏表示

近年来,稀疏表示已经成为了遥感图像处理的热门问题之一[13-14]。本文中,所有的数据都属于实数域。

假设输入信号bRm,信号分解是指n个基本原子aiRm的线性组合,(1≤in),构建信号的表达式为

b=a1x1+a2x2+…+anxn=Ax ,

(1)

式中: A=[a1,a2,…,an]∈Rm×n,为过完备字典; x=(x1,x2,…,xn)TRn,为稀疏系数。通过式(2)的l1范数最小化求解就可以得到式(1)的最优稀疏表示为

 

(2)

本文选择采用SVM分类模型进行语义检索,尝试在影像低层特征和影像高级语义信息上建立一定的联系。首先,采用SVM分类器根据提取的不同类别影像的特征,学习影像的不同类别表示方法,即要表达的不同语义信息,将训练好的分类模型保存起来,对查询影像提取其相应的低层特征; 然后,利用训练好的分类模型将提取到的低层特征在影像语义类别上进行判定,将查询影像定位到相应影像类别的范围内; 最后,在这个类别范围内进行欧式距离检索。为了避免因图像分类的错误而导致检索结果的差错,对查询图像分类的返回结果取其最相似的前3个作为其分类结果,进行图像检索时查询图像只要与数据库中属于前3类别的图像进行相似度计算,返回与其最相似的影像。

1.2 基于稀疏表示的遥感影像SIFT特征提取

与普通图像一样,遥感影像像素间存在相关统计性,所以一般情况下遥感影像也会含有大量的冗余信息。如何在提取SIFT特征的同时去除或者减少这些冗余特征的信息,采用何种方式对影像进行有效描述,是基于稀疏表示的遥感影像SIFT特征提取的研究初衷。首先,采用Lowe[5]的方法提取每幅影像的SIFT特征,即用均匀网格划分影像,确定图块(patch)大小,计算特征向量(dense sift);然后,以每幅影像的特征向量数据为原始信号,采用KSVD算法[15]训练过完备字典,OMP(orthogonal matching pursuit)算法进行稀疏编码[16],即影像SIFT特征集的稀疏表示。

进入技校学习的大部分都是文化基础知识差的初中毕业生,在中学时常常受到教师的歧视和同学的冷眼,家长对他们的期望也不高。进入技校是他们无奈的选择,自感低人一等,学习的困惑和心理的压力使之自信心严重缺失,导致自暴自弃,学无动力。其中也有许多人想奋发努力,将来有所作为,但又找不到方向,看不到成功的希望,成天昏昏愕愕、焦燥不安、寻衅滋事,大部分是无所事事地混日子,逃课、上网吧现象严重等等。

1.2.1 KSVD算法

数据采用SPSS 20.0统计分析软件进行数据处理,结果计数资料采用χ2检验,计量资料采用t检验以及非参数检验,以P<0.05为差异有统计学意义。

因为KSVD算法构建的过完备字典是来自于训练数据本身,所以这些训练数据能够充分被表示。该算法是一种基于矩阵奇异值分解的泛化K均值聚类算法。

利用OMP算法实现SIFT特征的基于过完备字典的稀疏分解,该算法属于贪婪追踪算法,其主要思想是寻找使得影像在过完备字典上具有最大投影的少数单词,不断逼近原始影像。OMP算法在分解中选择最佳的匹配单词,使用Gram-Schmidt正交化方法进行正交化处理,接着将影像在这些正交原子构建的空间上投影,在稀疏分解的过程中,OMP算法不仅精度要求高,而且收敛速度快,计算时间少。利用OMP算法,影像的局部特征集y经过N次分解得到,即

影像训练特征的稀疏表示为

设置Yi为第i幅影像的特征数据集,i∈(1,m),其中m为影像库中影像个数。利用KSVD算法获取每类影像的过完备字典D,设置Dk为第k类训练图像的过完备字典,k∈(1,n),n为影像数据集所有类别数目。在已知影像的特征数据集Y和相应类别的过完备字典D以及稀疏度L的条件下,利用OMP算法对影像特征数据进行重构,得到每幅影像在其所属类别的过完备字典下的稀疏系数Xii∈(1,m)。本文把影像根据过完备字典进行稀疏分解后获得稀疏系数Xi直接作为低层特征。

利用生物膜干涉技术建立快速检测动物源性食物样品中氯霉素残留的快速筛查方法。本实验采用胶体金信号放大检测牛奶中的氯霉素,建立了一种快速检测动物源性食品中氯霉素残留的方法,其检测灵敏性在0.0125 ng/mL以下,与恩诺沙星、三聚氰胺、青霉素G、安苄青霉素、头孢哌酮、氟苯尼考和甲砜霉素等无交叉反应。该试验结果表明采用相同的抗原、抗体、纳米金、缓冲液及纳米金标记抗体工艺,金标记生物膜干涉技术检测氯霉素残留的灵敏性要明显高于免疫层析试纸条的灵敏性,其检测结果与经典仪器分析一致。

(3)

式中是稀疏系数矩阵X的第k行,通过更新dk缩小与Ek的误差,就可以获得上式的最小值。

1.2.2 OMP算法

理论跟踪计算是通过监控EP电流来控制EP去除厚度的一种方法.EP去除厚度是每分钟EP去除速率的积累,去除速率可根据Faraday’s公式估算.假设溶解的Nb变成Nb5+,电流利用率100%,去除速率μ计算如下[5]:

设有训练SIFT特征集其中每个特征都是一个N维向量,该算法的目的就是通过训练数据集获取最佳过完备字典D={d1,d2,…,dk}(DRN×K,NK)来表示Y,其中(d1,d2,…,dK)表示词典里的K个单词。

且〈RNy,xK〉=0, K=0,…,N-1 ,

(4)

式中: xK为第K次分解得到的分量; aK为第K次分解得到的分量系数。

2 基于局部稀疏不变特征检索流程

2.1 特征提取

将本文方法与基于SIFT特征传统检索方法和基于纹理稀疏特征检索方法进行对比,其中纹理稀疏不变特征的获取方法是将每幅图像以8像元×8像元大小进行无重叠切块,接着对图像块的纹理特征进行字典训练和稀疏编码,从而获取图像块的纹理稀疏表示特征。3种方法以分类精度和Kappa系数作为SVM分类效果评价指标,以查准率和查全率作为检索性能的评价指标。

储能式螺柱焊焊接需要将设置好的能量额度冲入电容内,随后焊接时,能量从电容中一次性全部释放,用于焊接,焊接时间为1-5毫秒。储能式螺柱焊的焊接能力有限,一般运用于焊接直径3-10毫米的螺柱。

数据库中遥感影像大小为M×N像素,以a×a 网格大小无重叠地划分影像,一幅影像有(M/a)×(N/a)个图像块。设图像块大小为(2a×2a),一个图像块计算一个描述子,即一个特征向量。计算时,每个图像块划分为(a/2)×(a/2) 个方块(Bins),每个方块可以提取8维的SIFT特征,所以每个图像块获取的特征向量的维数为(a/2)×(a/2)×8=2a2 。每个图斑向左移动一个网格就获得新的图像块。以此类推,移动到影像边缘,然后往下移动。最终一幅遥感影像由(M/a-1)×(N/a-1) 个2a2 维特征向量表示。

2.1.2 SIFT特征的稀疏表示

,

2.2 特征建模

在获取影像集所有影像的局部稀疏特征之后,采用K-means聚类法将局部区域或者图斑的特征进行聚类。每个聚类中心看作视觉词典中一个视觉词汇(visual word),视觉词汇由聚类中心对应特征形成的码字(code word)表示,这就是特征量化过程。所有视觉词汇形成的视觉词典(visual vocabulary)就对应一本码书(code book),词典大小由词汇的个数决定每个词汇由一个2a2维特征向量表示。影像中每个特征都被映射到视觉词典中某个词汇上,这种映射通过计算特征的距离去实现。然后通过统计每个视觉单词在一幅影像特征里出现的频数,获取每幅影像的特征袋(bag of features,BOF)。在每幅影像对应的BOF提取完成的基础上,利用空间金字塔匹配模型,获得每一幅影像全局金字塔直方图特征,事实上该特征是稀疏向量。

2.3 分类检索

式中: λ为正则化参数; ‖·‖2l2范数; ‖·‖1l1范数。

3 实验结果分析

3.1 实验数据和评估指标

实验选择Merced Land Use Dataset公开的高空间分辨率遥感影像库,包含21类卫星影像。其中每个类别含有100幅影像,从每类随机选择10幅影像训练,剩余90幅影像用于测试,每幅影像的大小都是256像元×256像元。选用影像库的示例如图2所示。另外,在特征建模算法步骤中,本文统一设置视觉词典的词汇M=200,空间金字塔层数L=3,因为在参数一致的情况下,提出的检索方法查准率和查全率相对提高,就能有效证明本文方法的优势。

(a) 农业 (b) 飞机(c) 棒球场(d) 海滩 (e) 建筑物(f) 灌木丛 (g) 密集居住区

 

(h) 森林 (i) 公路(j) 高尔夫球场(k) 海港(l) 交叉点 (m) 中型居住区(n) 移动公园

 

(o) 立交桥(p) 停车场 (q) 河流 (r) 跑道(s) 稀疏居住区(t) 储油罐(u) 网球场

图2 Merced Land Use Dataset遥感影像示例

Fig.2 Sample remote sensing images from Merced Land Use Dataset

3.2 分类检索结果与对比分析

图3是本文方法检索的可视化效果图,以查询公路为例,从公路影像库任意选择一幅影像,根据相似度匹配值,从大到小排序,返回与查询影像最为相似的前20幅影像,被错误检索的用加粗标注。从图3可以发现,只有图3(q)影像是错误的,该影像应该属于高尔夫球场,其余影像则是检索正确,都属于公路影像。

  

(a) 查询影像:公路11(b) 公路11(c) 公路15(d) 公路39(e) 公路37(f) 公路38(g) 公路12(h) 公路33(i) 公路09(j) 公路03(k) 公路64(l) 公路34(m) 公路35(n) 公路55(o) 公路04(p) 公路01(q) 高尔夫球场50(r) 公路23(s) 公路26(t) 公路22(u) 公路21

图3 本文方法的可视化结果

Fig.3 Visualization results of new method in this paper

2.1.1 SIFT特征

为了便于分析比较,本文计算了传统的SIFT、纹理稀疏不变特征和局部稀疏不变特征3种影像检索方法的分类精度和Kappa系数(表1),其SVM分类效果对比如图4所示。

起初,他穿的是化肥口袋做成的一个褂子。我跟老人和摄影家们都很熟悉,我就跟他说,弄一个羊皮褂穿着,于是他找来羊皮褂,戴上一顶毡帽,抽着旱烟杆。这个装束一直拍到现在。

 

表1 3种方法分类效果对比表Tab.1 Comparison of three methodsclassification result

  

方法平均精度总体精度KappaSIFT0.623 60.592 70.579 3纹理稀疏特征0.845 50.827 00.818 3本文方法0.880 40.866 10.859 4

  

图4 3种方法SVM分类效果对比

 

Fig.4 Comparison of three methods for SVM classification model

从表1和图4可以看出,本文方法在训练测试影像数量为1∶9的情况下保持了平均88.01%的影像分类正确率,有效证明利用局部稀疏不变特征的分类效果高于前2种分类方法。该方法能够使多种类别的影像在大多数情况下得到正确分类,提供较精确的影像语义类别信息,而在正确分类情况下能够获取较高的影像查准率和查全率。因此本文选取了基于SIFT的稀疏表示构建SVM分类模型,用该模型指导基于内容的影像检索应用。采用图像检索系统中应用最为广泛的性能评价准则查准率、查全率以及相应的查准率-查全率曲线(图5)。

  

图5 查准率-查全率曲线(平滑后的曲线)

 

Fig.5 Precision-Recall curve (smoothed curve)

从图5可以看出,查准率和查全率之间存在着相互依赖和相互制约的关系,如果提高查准率,就会降低其查全率,反之亦然。总体而言,该曲线越偏向右上方,表明该方法的检索性能越好。由此可知,本文方法在查准率和查全率上具有优势。

另外考虑检索影像的排序情况,本文还采用了在MPEG-7标准化处理中广泛使用的平均归一化修改检索等级(average normalize modified retrieval rank, ANMRR),ANMRR的取值范围为0~1,取值越小,说明检索效果越好。具体的计算过程见参考文献[12]。

通过计算ANMRR值进行评价(表2),获知被检索出的相关影像的个数和排序情况。

 

表2 ANMRR值对比Tab.2 Comparison of three methodsANMRR

  

类别SIFT纹理稀疏特征本文方法ANMRR0.597 70.473 20.411 3

表2中ANMRR值的定量比较证明了本文方法的检索性能明显优于前面2种遥感影像检索算法。

水上安全操作指南和联动工作机制也得到进一步健全。自创建活动开展以来,西江广东段绘制了水上安全监管平面图,编制了《西江流域风险防控手册》《西江水域船舶安全航行指南》以及《船舶附属艇安全管理指南》,建立了统一的水上交通风险评估标准、风险管控及预警机制等制度规范,为西江航行的船舶及船员提供了安全指引。

4 结论

依据稀疏表示模型的实效性和适用性,研究了一种结合局部稀疏不变特征和视觉词袋模型的遥感影像检索新方法,解决了传统局部特征带来的存储困难、计算复杂的问题。首先,以每幅影像大量的局部不变特征作为原始数据,使用KSVD算法学习过完备字典,OMP算法获取稀疏系数矩阵,将获取的稀疏系数矩阵替代原始的密集局部不变特征; 接着,利用视觉词袋模型和空间金字塔匹配算法获取新的直方图向量,作为每幅影像最终全局表示; 最后,引入最佳SVM分类模型,通过输入查询影像的稀疏特征判定其所属类别,在类别范围内进行相似度匹配,完成检索。实验表明,与传统的局部特征检索方法相比,新方法在提高检索准确性的同时,大大减少所需存储局部不变特征的数量,提高了检索的查准率和查全率,为稀疏表示模型在遥感影像检索研究领域开拓了新思路。

项目通过环保验收,且全厂设备运行稳定后,对烟气脱酸工艺运行状况及污染物排放进行了跟踪和数据分析,结果见图2。

参考文献(References)

[1] Du P J,Chen Y H,Tang H,et al.Study on content-based remote sensing image retrieval[C]//Proceedings of 2005 IEEE International Geoscience and Remote Sensing Symposium.Seoul:IEEE,2005.

[2] 程起敏.遥感图像检索技术[M].武汉:武汉大学出版社,2011.

Cheng Q M.Remote Sensing Image Retrieval Technologies[M].Wuhan:Wuhan University Press,2011.

[3] Dos Santos J A,Penatti O A B,Torres R D S.Evaluating the Potential of Texture and Color Descriptors for Remote Sensing Image Retrieval and Classification[R].Technical Report-IC-09-47,2009.

[4] Nandhini R,Joel T.Geographic image retrieval using local invariant features with euclidean distance[J].IEEE International Journal for Research and Development in Engineering,2014.222-225.

[5] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[6] 吴锐航,李绍滋,邹丰美.基于SIFT特征的图像检索[J].计算机应用研究,2008,25(2):478-481.

Wu R H,Li S Z,Zou F M.Image retrieval based on SIFT features[J].Application Research of Computers,2008,25(2):478-481.

[7] Yang Y,Newsam S.Geographic image retrieval using local invariant features[J].IEEE Transactions on Geoscience and Remote Sensing,2013,51(2):818-832.

[8] Karakasis E G,Amanatiadis A,Gasteratos A,et al.Image moment invariants as local features for content based image retrieval using the bag-of-visual-words model[J].Pattern Recognition Letters,2015,55:22-27.

[9] 周维勋,邵振峰,侯继虎.利用视觉注意模型和局部特征的遥感影像检索方法[J].武汉大学学报(信息科学版),2015,40(1):46-52.

Zhou W X,Shao Z F,Hou J H.Remote sensing imagery retrieval method based on visual attention model and local features[J].Geomatics and Information Science of Wuhan University,2015,40(1):46-52.

[10] Lazebnik S,Schmid C,Ponce J.Beyond bags of features:Spatial pyramid matching for recognizing natural scene categories[C]//Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York:IEEE,2006:2169-2178.

[11] Yang J C,Wright J,Huang T S,et al.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing,2010,19(11):2861-2873.

[12] Mohamadzadeh S,Farsi H.Content-based image retrieval system via sparse representation[J].IET Computer Vision,2016,10(1):95-102.

[13] Olshusen B A,Field D J.Sparse coding with an overcomplete basis set:A strategy employed by V1?[J].Vision Research,1997,37(23):3311-3325.

[14] Wright J,Ma Y,Mairal J,et al.Sparse representation for computer vision and pattern recognition[J].Proceedings of the IEEE,2010,98(6):1031-1044.

[15] Aharon M,Elad M,Bruckstein A.K-SVD:An algorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Transactions on Singal Processing,2006,54(11):4311-4322.

[16] 霍 宏.生物视觉启发的高分辨率遥感影像特征提取与目标检测研究[D].上海:上海交通大学,2014.

Huo H.Biological Vision-Inspired Feature Extraction and Object Detection for High Resolution Remote Sensing Images[D].Shanghai:Shanghai Jiao Tong University,2014.

 
胡屹群,周绍光,岳顺,刘晓晴
《国土资源遥感》 2018年第02期
《国土资源遥感》2018年第02期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号