0 引 言

石油管线作为油田物资中的一个重要组成部分, 随着油气田开发建设、生产规模不断扩大, 物资管理任务进一步加重, 管线管理的要求也进一步提高。虽然目前已经有仓储管理信息系统, 但针对管线身份识别大多还是通过人眼识别的方式。人眼识别在一定程度上被认为是最可靠的方式, 但该方式无法避免地存在人为抄写错误以及工作量巨大等缺点。近年来, 学者们提出了运用神经网络进行钢号识别的方法。王静钢[1]首先提取了钢号图像的网格特征、 交叉点特征等特征矢量, 然后输入3层BP神经网络进行识别。这类识别方法是先用一个手工设计的特征提取器提取输入数据中相关的有用信息得到一组特征向量, 再利用一个可训练的分类器, 如神经网络等对这些特征向量进行分类识别[2]。该方法相对人工抄写的方式一定程度上解放了人力, 但提取到的特征向量很大程度上决定了识别效果, 并且手工设计图像特征不仅费时而且效率不高。

总体来看，亚太地区整体自1990年以来通过建立RTA推动经济增长的举措是显著有效的。相较于生效实施的RTA数量，高质量RTA更能有效地推动亚太地区国家的经济增长和人民福利水平提升，两者影响效果的差异在WTO+领域可达6倍多，在WTO-X领域可达12倍～30倍。相较于传统的WTO+领域，涉及新一代WTO-X领域的条款覆盖率和法定承诺率更有利于带动亚太地区国家人均GDP的提高，其中发达国家的影响系数更大。

随着计算机的发展, 基于深度学习的模式识别已成为机器视觉和人工智能领域中研究的热点, 被广泛应用于工业、 医学等诸多领域中[3]。卷积神经网络作为深度学习模型的一种, 是最常用的一种模型结构。早在1998年, Lecun等[4]提出了LeNet-5模型, 成功将其应用于银行支票手写数字识别任务中, 获得了很好的效果。2012年, Krizhevsky等[5]提出AlexNet模型, 在图像分类比赛中以巨大优势获得第1名, 因此很多学者开始将卷积神经网络作为研究焦点。随后, 新的卷积神经网络模型不断被提出。目前对卷积神经网络的研究呈现两种趋势, 一种是增加卷积神经网络层数, 构成深度卷积神经网络； 另一种是优化卷积神经网络的结构。虽然构建更深层次的网络可以达到更好的实验效果, 但深度网络却需要更长的训练时间、 更多的计算资源和训练技巧。Saxe等[6]指出卷积神经网络的结构本身是网络能提取多层次、 多尺度特征的主要因素。所以设计特征学习能力更强的卷积神经网络结构成为广大学者的研究重点。联和卷积神经网络与递归神经网络就是一种典型[7]。Socher等[8]结合卷积神经网络与递归神经网络提出了一种新的深度学习结构, 卷积神经网络学习原始图像的浅层特征并作为递归神经网络的输入, 利用递归神经网络学习高层特征, 在彩色-深度图像识别中取得了很好的识别率； 骆健等[9]在文献[8]的基础上增加卷积神经网络的输入, 提出多尺度卷积递归神经网络, 经过局部对比度标准化和采样后作为递归神经网络的输入, 提取更加抽象的高层特征。虽然文献[8,9]中提到的方法都获得了很好的效果, 但这些方法都只是用递归神经网络代替一部分的卷积神经网络提取高层特征, 而忽略了卷积神经网络本身学习高层特征的能力。

为提取输入图像的多样性高层特征, 笔者提出一种改进的卷积神经网络结构, 在卷积神经网络中引入递归神经网络, 输入图像先经过第1级卷积神经网络, 通过卷积操作和采样操作后提取原始图像的浅层特征, 再输入由卷积神经网络和递归神经网络组成的第2级网络学习高层特征, 最后将这两种网络学习到的特征融合后输入到分类器中进行分类。改进后的网络既能利用卷积神经网络学习高层特征, 同时还利用递归神经网络学习低层特征的组合特征, 将两种特征融合后能够有效进行识别。为提高网络识别精度和训练速度, 减少网络过拟合, 笔者拟利用迁移学习理论解决小样本集数据在卷积神经网络训练中样本不足的问题。

人家是一天里万花七试都考完，我们偏要分成两天，第二天的主考官，还换成了一脸阴沉的司徒一一，考场还设在那鬼气森森的水月宫。

1 卷积神经网络

近年来, 基于卷积神经网络的模式识别快速发展, 其高效的识别方法引起广泛重视。传统的模式识别模型是先用一个手工设计的特征提取器收集输入数据中相关的有用信息得到一组特征向量, 然后利用一个可训练的分类器对这些特征向量进行分类识别。卷积神经网络的分类模型与传统模型的不同之处在于卷积神经网络将特征提取与分类识别集于一体, 将特征提取过程隐藏于网络中, 即输入为原始图像, 输出为分类结果, 因此得到了广泛的应用。

1) 将扩充后的图像缩放成统一大小。笔者将训练样本统一大小为36×36像素。

1.1 卷积层

卷积层实现对输入数据的特征提取。其利用一个可学习的卷积核与前一层的特征图进行卷积操作, 得到的结果通过一个激活函数后, 最终输出结果形成这一层的特征图。即利用K1寸大小为r×r的卷积核对上一层图像m×m进行卷积操作, 设步长为s, 则经过卷积层后得到K1个大小为的特征图。卷积操作的表达式

以“移动终端服务”为亮点，基于移动服务平台，打造新型智能服务终端，深化利用信息技术、拓展资源获取手段。

 

(1)

其中表示第l层的第j个特征图,表示第l层的第j个特征图与第l-1层第i个特征图连接之间的卷积核,表示第j个特征图对应的偏置项, “*”表示卷积运算, f(·)表示激活函数, Mj代表选择的输入图的集合。

1.2 采样层

采样层即对输入特征图进行采样操作, 有K1个输入图, 就有K1个输出图, 只是每个输出图都变小了。表达式为

 

(2)

其中down(·)表示采样函数,表示第l层第j个特征图对应的系数,为其对应的偏置项。

采样方式包括均值采样、 最大值采样等, 设采样层的核大小为k×k, 则采样层计算方式如下

均值采样

(3)

最大采样f(x)=max(x[i,i+k][j,j+k])

(4)

1.3 LeNet-5卷积神经网络结构

1) 设计两级网络模式, 在第2级网络中引入递归神经网络。递归神经网络能学习有效的组合特征, 将其与卷积神经网络结合有助于网络提取多样性的特征。

The authors declare no competing financial interests.

  

图1 LeNet-5卷积神经网络结构示意图Fig.1 Sketch map of LeNet-5 convolution neural network structure

该网络主要包含输入层、 3个卷积层、 2个采样层、 1个全连接层和输出层。其中Input层为输入层, C1、 C3及C5是由卷积神经元组成的卷积层, S2和S4是由采样神经元组成的采样层, F6是全连接层, Output为输出层。网络输入层的输入图像是经过归一化的32×32像素大小的图像。

C1层。每个神经元都是由卷积核与输入图中的局部邻域连接得到, 用6个不同的可学习的卷积核与输入图像分别进行卷积操作则得到6个不同的特征图。卷积层通过局部连接可以学习到数据的局部特征。卷积核大小为5×5像素, 卷积步长为1, 所以每个特征图的大小为(32-5+1)×(32-5+1)像素, 即特征图大小为28×28像素。

（1）数据的安全问题。由于体域网处于一个公共信道中，因此存在恶意敌手对数据进行攻击、篡改或重放等，造成数据丢失或被窃取的安全性问题。在体域网中，数据一旦受到篡改，则可能酿成医疗事故。

C3层。每个神经元同样采用局部连接的方式与S2层的多个特征图相连。C3层增加特征图个数为16个, 以补偿S2层采样带来的特征损失并且获得更多不同的特征。卷积核大小为5×5像素, 步长为1, 所以特征图的大小为10×10像素。C3层中特征图与S2层中特征图的连接方式如表1所示, 表1中“X”表示有连接。由表1可见, C3层的前6个特征图都是与S2层中3个相邻的特征图连接, 接下来的6个特征图都是与S2层中4个相邻的特征图连接, 随后的3个都是以不相邻的4个特征图连接, 最后一个与S2层中的所有特征图连接。

S4层。其功能与S2层相同, 对C3层相应特征图进行2×2像素区域的采样操作, 得到16个5×5像素的特征图；

C5层。将特征图增加至120个, 每个单元与S4层的全部16个特征图的5×5邻域相连, 得到120个大小为1×1特征图, 构成了S4和C5之间的全连接。

F6层。包含84个神经元, 每个神经元与C5层120个特征图全部相连, 将学习到的特征表示映射到样本标记空间。

面向5G毫米波通信系统的本振源设计与实现………………………………………………胡蒙筠，周健义 24-3-21

最后的输出层由欧氏径向基函数单元组成, 每个单元代表一个类别。在手写体识别任务中, 识别数字0～9共10个类别, 所以输出层单元为10个, 分别输出对应数字的概率。

 

表1 C3与S2层的连接方式

 

Tab.1 Connection mode of C3 and S2 layers

  

S2C301234567891011121314150XXXXXXXXXX1XXXXXXXXXX2XXXXXXXXXX3XXXXXXXXXX4XXXXXXXXXX5XXXXXXXXXX

2 改进的卷积神经网络结构

卷积神经网络将特征提取与分类识别集于一体, 因此得到了广泛应用。文献[8,9]将卷积神经网络与递归神经网络结合得到了很好的效果, 但都是用递归神经网络代替一部分卷积神经网络提取高层特征, 而忽略了卷积神经网络本身学习高层特征的能力。

2.1 递归神经网络

  

图2 递归神经网络结构示意图Fig.2 Sketch map of recursive neural network structure

递归神经网络类似于卷积操作和采样操作的结合, 通过重复使用同一组权重和选择接受域达到逐层降低特征维度的目的, 其结构示意图如图2所示。其中K1为第1级网络输出的特征图个数。最底层的特征图大小为4×4像素, xi(i=1,2,…,16)为底层特征图单元, 设接受域为2×2像素, 连接权重为W, 第2层网络特征图的每个单元pi(i=1,2,…,4)与底层特征图的2×2像素接受域相连, 最终得到2×2像素大小的特征图, 其中p1的计算公式如下

 

(5)

改进后的网络结构示意图如图3所示。在卷积神经网络的第一个采样层后引入多层递归神经网络, 原始图像经过第1个卷积层和采样层后得到图像的浅层特征, 然后将这些浅层特征同时输入卷积神经网络和多层递归神经网络中学习更高层的特征, 最后将学习到的特征进行融合后输入到分类器中进行分类。

2.2 改进后的卷积神经网络结构

笔者对经典卷积神经网络结构进行优化, 主要包含以下两方面：

图1为经典的LeNet-5卷积神经网络模型结构示意图[4]。

2) LeNet-5用于手写数字识别中分类数目为10类, 所以输出神经元为10个。笔者实验数据采集于管库中的钢管线, 主要用于油气、 天然气输送。其钢号不仅包含0～9的数字, 还包含大写字母, 所以将输出层神经元改为36个。

S2层。对C1层中的每个特征图的小区域进行子抽样以实现数据降维, 并且通过选择连续范围进行采样操作, 即使图像有小的形变, 采样的结果依然相同。这样保持了对于输入图像的旋转、 平移、 伸缩等变化的不变性。S2层与C1层有相同个数的特征图, 特征图中的每个单元由C1中相对应特征图的2×2像素邻域采样得到, 且不重叠采样, 所以此层每个特征图的大小为14×14像素。

The sun goes down without twilight, rain or snow will come next.

同理, 第2层特征图再经过一层递归神经网络后得到1×1像素大小的特征图。

R1层。与卷积神经网络的采样层S2连接, 设经过S2层后得到的特征图大小为m×m像素, 连接这些特征图向量作为递归神经网络的R1层输入, 设递归神经网络数量为K2个, 选择接受域为l×l像素且接受域不重叠, 则特征图经过R1层网络后维度变为m/l×m/l像素。

迁移学习是一种机器学习方法, 文献[10]给出迁移学习的定义： 给定一个原始领域DS和一个原始学习任务TS, 一个目标领域DT和一个目标学习任务TT, 迁移学习的目标是使用DS和TS中的知识, 帮助改进在DT中的目标预测函数的学习, 其中DS≠DT或TS≠TT, 即运用已有的知识对相关领域的不同问题进行求解。在卷积神经网络中, 迁移学习就是要把在特定数据集上训练得到的“知识”成功运用到新的领域[11]。笔者利用迁移学习理论解决卷积神经网络针对钢号小样本集训练样本不足的问题。MNIST数据集是由Google实验室和纽约大学柯朗研究所共同建立的一个手写数字数据库, 包含60 000张用于训练的手写数字图像, 10 000张测试图像[12]。手写数字与笔者要分类的钢号图像在形状和线条上存在着很高的相似性, 并且卷积神经网络在手写数字识别任务上一直表现优秀。所以可以将训练手写数字网络得到的知识运用到钢号识别分类中。其迁移学习流程如下： 1) 首先利用MNIST数据集对卷积神经网络初始化参数进行训练； 2) 将钢号图像输入训练好的网络模型中提取特征； 3) 利用提取后的特征再对网络进行训练、 微调, 实现卷积神经网络在MNIST数据集上的知识迁移。迁移学习理论的运用不仅解决了小样本集训练过程中容易引起网络过拟合的问题, 同时提高了训练速度和识别精度。

在应用密封胶的预制装配式建筑外墙防水密封处理中，密封胶必须具备良好的抗位移能力和蠕变性能、优异的粘结性和相容性，同时还需要拥有较强的耐污染性和耐候性，表1为常用密封胶优缺点对比。

  

图3 改进的卷积神经网络结构示意图Fig.3 Sketch map of improved convolution neural network structure

2.3 迁移学习

卷积神经网络通常采用有监督的误差梯度下降方法进行训练, 当训练样本足够大时, 网络能产生非常强的性能。但当训练样本不足时, 卷积神经网络则表现出对大量样本的依赖特性, 形成过拟合或欠拟合网络。目前为止, 钢号数据还没有建立像人脸、 手写字符一样的公共库, 所以用于实验的数据大多来自实验者的亲自采集, 给相关实验工作带来巨大困难。迁移学习理论的研究可以很好的解决卷积神经网络因训练样本不足而导致网络过拟合的问题。

20世纪80年代末，我国引入以JIF为主要指标的引文分析法并运用于期刊评价，后来不仅进入学术评价形成了人们诟病的“以刊代文”评价，而且部分高校和科研机构在进行绩效考核时，常以JIF作为主要标准进行考核。2006年，发表于《自然》题为《现金行赏，发表奖励》的文章说，这一年中国科学院给出一篇发表于《自然》的文章的奖金就有25万元人民币，中国农业大学的奖金高达30万元人民币以上［12］。正如美国细胞生物学学会执行董事Stefano Bertuzzi所说的，这样导致的结果便是，学者竞相投稿于高JIF期刊。兰迪·谢克曼也指出，现行评价机制扭曲了学术界，使那些最热点但不一定是最好的成果获得了最大回报。

R2层。与递归神经网络R1层连接, 同样是连接R1层特征图向量作为R2层输入, 则特征图经过R2层递归神经网络后维度变为m/l2×m/l2像素。依次类推, 直到特征图变为1×1像素大小。

3 实验研究

笔者的实验是在Windows7 32位系统Intel i7-4790 CPU、 4 GByte内存的计算机上进行的, 在Matalab R2010a平台上实现算法的编码。

3.1 样本预处理

利用文献[13]中的图像定位分割方法将采集到的钢号图片分割为只含有单个字符的钢号样本数据。由于钢号样本属于小样本集, 所以还要对实验样本进行扩充。样本扩充技术主要通过对原始样本进行操作从而生成合理的虚拟样本, 并将它们添加到原始训练样本集, 达到扩充训练样本集的目的, 使分类器的泛化能力提高[14,15]。为模拟不同的拍摄条件, 笔者对钢号图像训练样本进行了平移、 旋转和水平翻转等几何变换。除了通过几何变换进行样本扩充外, 在输入样本中添加噪声同样可以提高学习方法的泛化能力, 所以笔者还在钢号训练样本中分别加入了高斯噪声、 椒盐噪声和泊松噪声生成虚拟样本[16]。笔者用于实验的图像共36类1 800张, 每类图像50张, 经过水平翻转、 上下左右平移5个像素、 左右旋转45°、 加入高斯噪声、 椒盐噪声和泊松噪声等样本扩充后有19 800张虚拟样本。其中17 000张作为训练样本, 2 800张作为测试样本。

由于自然图像易受到光照、 遮挡等不利于识别因素的影响, 图片质量可能会很差, 影响到最终的分类结果[14-16]。为使分类效果得到改善, 提高分类精度, 需对数据进行预处理。

卷积神经网络每个卷积层后一般都有一个采样层连接, 卷积层实现特征提取, 采样层对提取到的特征进行采样实现数据降维。卷积神经网络改变了以往的全连接方式, 采用局部连接不仅降低了参数数量, 同时更利于学习数据的局部特征。同时每层的独立神经元共享一个权值, 大幅降低了可学习的参数数量, 采样层通过连续采样操作不仅实现特征降维而且能实现对输入图像的旋转、 平移、 伸缩等变换的不变性。

2) 彩色图像对识别的影响不大, 为减小计算量, 将彩色图像转化为灰度图像。

在本实验中仍然存在一定的局限性。输血患者减少的比例差异无统计学意义。虽然氨甲环酸组的患者比对照组接受输血的人数少，但是差异无统计学意义，这可能与样本量较少有关。其次，术中失血量的评估，并未将手术衣、铺巾上的失血算入，这可能导致误差。而氨甲环酸药物的使用剂量仍然是基于大部分脊柱外科推荐剂量使用，而具体氨甲环酸在肿瘤手术中的最佳剂量仍然需要大量的不同实验去验证。最后，两组患者术后的引流量的比较差异无统计学意义，可能与术后未使用氨甲环酸，患者血液中氨甲环酸浓度下降，而未发挥药物作用有关。

3) 将所有图像进行均值和方差归一化。

4) 白化。零成分分析(ZCA: Zero Component Analysis)白化方式有着尽可能的接近原始数据的优点, 并可降低数据的冗余性, 所以笔者采用ZCA白化。

3.2 实验及结果分析

笔者将第1级卷积神经网络的卷积核大小设为5×5, 步长为1, 卷积核个数为6, 则卷积后的特征图大小为32×32像素。采样层采样方式为均值采样, 接受域为2, 最终第1级输出6个大小为16×16像素的特征图。将16×16像素的特征图输入第2级网络, 第2级网络包含卷积神经网络和2层递归神经网络。设递归神经网络的个数为K2=30个, 递归神经网络接受域为4×4, 经过2层运算变为1×1。第2层卷积神经网络的卷积核接受域设置为5×5, 步长为1, 卷积核个数设置为K3=16个。卷积后的特征图尺寸为12×12像素, 采样接受域设置为2×2, 采样后的特征图尺寸为6×6, 将卷积神经网络输出的特征图与递归神经网络输出的特征图进行特征融合后直接用于分类器进行分类。实验结果如表2所示。

 

表2 钢号识别率对比

 

Tab.2 Steel recognition rate comparison

  

方法卷积神经网络文献[8]方法笔者方法错误率/%5.753.992.75

由表2可见, 笔者提出的方法得到了较高的识别率。第2级采用递归神经网络比采用卷积神经网络的识别率高1.76%, 证明递归神经网络能学习到有效的高层特征。笔者方法对比第2级只采用卷积神经网络和第2级只采用递归神经网络的识别率分别高出3%和1.24%。说明多样性的高层特征对识别精度有积极的影响。

表3选取了一些图像的识别结果。由表3可见, 网络对于光照强度不同或图像移动的情况下依然具有好的识别能力。但是对于图像(4)中存在像素损失的数据没有正确的识别, 这类样本需额外进行处理以突出样本特征。

 

表3 图像识别结果

 

Tab.3 Results of image recognition

  

实验图像分割图像实验标签识别结果(1)X512X512(2)X4031X4031(3)L450L450(4)X256X260

为确定网络结构对识别率的影响, 笔者还研究了递归神经网络个数和C3层卷积核个数对识别率的影响。实验过程和结果如下。

西盟县在引入云岭牛项目之初，就已摆脱传统的农户散养模式，千百年来靠山散养的落后畜牧方式已经升级换代。在云南省其他地方，云岭牛推广一开始就全产业链介入，规模化养殖使得产业得到稳步发展。

1) 固定C3层卷积核个数K3=16, 将递归神经网络的个数K2从5以增量5变化到45, 识别率如图4所示。从图4中可见, 在一定范围内随递归神经网络的个数增加, 错误率也随之降低, 当K2=30左右时达到饱和, 错误率不再明显下降。递归神经网络的个数和训练时间的关系如表4所示。由表4可见, 随递归神经网络个数的增加, 训练所需时间也有所增加, 在K2值较小时, 随K2的增加, 训练所需时间缓慢增加, 当K2>35时, 再增加K2的数目, 时间消耗增幅变大。

为了保证语料标注的质量,两位标注者同时对语料库进行标注,目的是进行标注结果的一致性检测.本工作采用Passoneau[15]提出的语料库指代标注可靠性计算方法,并根据Krippendorff[16]的alpha系数来表示两位标注者标注结果之间的一致性.该方法通过一个距离度量来表示指代链之间的相似度,然后通过alpha系数计算指代链之间的相似度距离来表示不同标注者标注结果之间的一致性.

 

表4 递归神经网络个数对训练时间的影响

 

Tab.4 Effect of recursive neural network number on training time

  

K251015202530354045训练时间/min55.3657.6358.0559.2461.0062.3264.9769.5273.84

2) 固定递归神经网络个数K2=30, 变化C3层卷积核个数K3, 从8以增量2变化到20, 得到的识别结果如图5所示。由图5可见, 当K3=12时错误率就降到了4.23%, 比卷积神经网络的错误率降低了1.52%, 由此可见, 利用递归神经网络提取图像的多样性特征是有效的。C3层卷积核个数与训练时间关系如表5所示, 当K3取8、10、12时相比表4训练时间明显缩短, 说明引入递归神经网络后, 不仅识别精度提高了, 同时还加快了训练速度。随K3的增加, 识别率上升, 但同时训练的时间成本也越来越大。

  

图4 递归神经网络个数对识别率的影响曲线 图5 C3层卷积核个数对识别率的影响曲线图 Fig.4 Effect of recursive neural network number on recognition rate Fig.5 Effect of convolution kernel number in C3 layer on recognition rate

 

表5 C3层卷积核个数对训练时间的影响

 

Tab.5 Effect of convolution kernel number in C3 layer on training time

  

K38101214161820训练时间/min51.7753.2954.9658.3762.3268.9779.52

4 结 语

笔者在经典网络的基础上改进卷积神经网络, 通过引入递归神经网络与卷积神经网络并行学习高层特征, 增加了特征的多样性。针对钢号样本数据的特点, 采用几何变化以及加噪声的方式对样本集进行扩充, 并利用迁移学习理论, 将MNIST数据集训练网络学习到的知识迁移应用于钢号识别中, 以提高训练的精度和速度, 减少网络过拟合。实验证明, 改进的卷积神经网络在钢号识别任务中获得了较高的识别率。笔者的试验是采用Matlab平台进行的, 为加快训练速度下一步应研究基于深度学习框架的实验方式。并且激活函数、 网络层数、 采样方式的选择等也一定程度上影响网络的性能, 也应进一步进行研究, 以寻找适合钢号识别的最优网络。

参考文献：

[1]王静钢. 无缝钢管标记识别系统的设计与实现 [D]. 北京: 北京邮电大学软件学院, 2008.

WANG Jinggang. Design and Implementation of Marker Recognition System of Seamless Steel Tubes [D]. Beijing: College of Software, Beijing University of Posts and Telecommunications, 2008.

[2]王志瑞, 闫彩良. 图像特征提取方法的综述 [J]. 吉首大学学报: 自然科学版, 2011, 32(5): 43-47.

WANG Zhirui, YAN Cailiang. Method of the Image Feature Extraction [J]. Journal of Jishou University: Natural Science Edition, 2011, 32(5): 43-47.

[3]刘建伟, 刘媛, 罗雄麟. 深度学习研究进展 [J]. 计算机应用研究, 2014, 31(7): 1921-1930，1942.

LIU Jianwei, LIU Yuan, LUO Xionglin. Research and Development on Deep Learning [J]. Application Research of Computers, 2014, 31(7)： 1921-1930，1942.

[4]LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient Based Learning Applied to Document Recognition [J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[5]KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet Classification with Deep Convolution Neural Networks [C]∥Neural Information Processing Systems Conference and Workshop(NIPS). USA: Curran Associates, Inc, 2012： 1106-1114.

[6]SAXE A, KOH P W, CHEN Z, et al. On Random Weights and Unsupervised Feature Learning [C]∥International Conference on Machine Learning. USA: Curran Associates, Inc, 2011: 1089-1096.

[7]周飞燕, 金林鹏, 董军. 卷积神经网络研究综述 [J]. 计算机学报, 2017, 40(7): 1-23.

ZHOU Feiyan, JIN Linpeng, DONG Jun. Review of Convolutional Neural Network [J]. Chinese Journal of Computers, 2017, 40(7): 1-23.

[8]SOCHER R, HUVAL B, BHAT B, et al. Convolutional Recursive Deep Learning for 3D Object Classification [C]∥Conference and Workshop on Neural Information Processing System. USA: Curran Associates, Inc, 2012: 665-673.

[9]骆健, 蒋旻, 刘星, 等. 多尺度卷积递归神经网络的RGB-D物体识别 [J]. 计算机应用研究, 2017, 34(9): 1-7.

LUO Jian, JIANG Min, LIU Xing, et al. Multi-Scale Convolutional-Recursive Neural Networks for RGB-D Object Recognition [J]. Application Research of Computers, 2017, 34(9): 1-7.

[10]PAN S J, YANG Q. A Survey on Transfer Learning [J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359.

[11]李彦冬, 郝宗波, 雷航. 卷积神经网络研究综述 [J]. 计算机应用, 2016, 36(9): 2508-2515,2565.

LI Yandong, HAO Zongbo, LEI Hang. Survey of Convolution Neural Network [J]. Journal of Computer Applications, 2016, 36(9): 2508-2515,2565.

[12]陈浩翔, 蔡建明, 刘铿然, 等. 手写数字深度特征学习与识别 [J]. 计算机技术与发展, 2016, 26(7): 19-23,29.

CHEN Haoxiang, CAI Jianming, LIU Kengran, et al. Deep Learning and Recognition of Handwritten Numeral Features [J]. Computer Technology and Development, 2016, 26(7): 19-23,29.

[13]孟洁, 程永强. 图像定位及分割在车辆牌照识别中的应用 [J]. 信息通信, 2015(9): 159,160.

MENG Jie, CHENG Yongqiang. Application of Image Location and Segmentation in Vehicle License Plate Recognition [J]. Information & Communications, 2015(9): 159,160.

[14]张琪. 卷积神经网络在车标识别技术中的研究及其小样本下的处理策略 [D]. 安徽: 安徽大学电子信息工程学院, 2016.

ZHANG Qi. Research on Vehicle Logo Recognition Technology Based on Convolution Neural Network and Processing Strategy on Few Samples [D]. Anhui: Shool of Electronic Information Engineering, Anhui University, 2016.

[15]于旭, 杨静, 谢志强. 虚拟样本生成技术研究 [J]. 计算机科学, 2011, 38(3): 16-19.

YU Xu, YANG Jing, XIE Zhiqiang. Research on Virtual Sample Generation Technology [J]. Computer Science, 2011, 38(3): 16-19.

[16]何鹏程. 改进的卷积神经网络模型及其应用研究 [D]. 大连: 大连理工大学计算机科学与技术学院, 2015.

HE Pengcheng. Research of Improved Convolution Neural Network Model and Its Application [D]. Dalian: School of Computer Science and Technology, Dalian University of Technology, 2015.