0 引言

交通标志识别是先进驾驶辅助系统(Advanced Driver Assistance Systems,ADAS)的主要任务之一，是自动驾驶汽车不可或缺的一部分[1]。交通标志重要特征之一在于设计的简单性，便于人眼识别。首先，交通标志形状设计简单，如三角形、圆形、矩形或多边形；其次，颜色构成简单，由红、绿、黑、白、黄组成；最后，其含义基本上是从象形符号中提取的。尽管标志设计对于驾驶员来说是清晰和有差别的，但在交通标志识别系统实际应用中存在着一些挑战，例如阴影、距离、天气条件及标志的褪色等因素。

识别目标常用的方法是提取每一个目标某些特征，然后进行模型训练，并根据这些特征进行分类。特征提取常用方法有HOG[2]、SIFT[3]和Fisher vector[4]等，均能实现图像空间的正确分类。在大规模的目标识别过程中，这些方法可能会造成目标非线性分离。因此，需要非线性模型如支持向量机[5]、随机森林[6]和神经网络[7]学习非线性决策空间。

卷积神经网络(Convolutional Neural Networks,CNN)是一种学习提取这些特征的非线性函数。Redmon[8]等人提出了YOLO网络模型，能实时的分类9000多种目标，但是网络的精度不够高，训练模型比较麻烦。He[9]等人设计出一种在ImageNet数据集上超出了人类的表现的卷积模型。但上述网络的计算效率不高，且在硬件上实现需要大量的乘法运算。ADAS具有有限的计算能力且必须执行各种任务，交通标志识别消耗尽可能少的处理时间以便立即释放处理单元是至关重要的。

针对上述问题，我们提出了新的卷积神经网络模型，采用跃层的方法，提取图像中底层的局部信息和高层的全局信息，同时为了精细识别交通标志，采用不同尺度的双通路作为输入，并设计对应尺寸的卷积核进行运算，增强鲁棒性并减少下采样对图像的影响。双通路输入模型获取丰富的特征，增强了卷积神经网络的非线性表达能力。利用这些特征分别训练网络分类器，自适应地调整不同跃层卷积网络在分类器中的权重，共同构建该卷积神经网络模型输出，完成交通标志的识别。大量的实验表明本文算法在识别任务中识别率和鲁棒性优于经典算法。

1 双通路跃层卷积神经网络的构建

两种尺度的双通路跃层卷积神经网络结构，如图1所示。其中C1、C3、C1'、C3'为卷积层，S2、S4、S2'、S4'为池化层[10]，fc1、fc2为全连接层。

图1 双通路跃层卷积神经网络模型

本文所用的计算机配置为CPU Intel(R)Core(TM)i5-3230 2.60 GHz,Ubuntu 14.04操作系统，显卡为NVIDIA GEFORCE GT650M，显存2 GB，GPU并行加速计算，内存8G，硬盘为7200 r/s。

2 双通路跃层卷积神经网络的算法

2.1 算法的流程图

（3）酸沉。用硝酸中和钼酸铵结晶母液，钼酸根离子水解成四钼酸铵沉淀，而其他金属杂质则进入残液。其反应式如下：

在测试过程中，将测试样本发送到训练好的网络中，并在输出向量中找到最大值来获得预测标签。训练和测试过程如图2所示。

图2 双通路跃层卷积神经网络算法流程图

2.2 网络训练

在训练之前，用不同的随机数对所有的权值进行初始化。为保证权值不能过大而进入饱和状态，进而导致训练的失败，选取较小随机数。

综上所述,高度近视患者的发病原因和眼底病变的危险因素探讨可以给临床防治提供依据,此次研究的患者多数都是后天用眼不良,阅读姿势不正确和营养不均衡所引起的,患者的近视大部分都没有超过一千度,因此对患者的用眼习惯应该从小就进行纠正,保护眼睛,关注眼睛的保健。高度近视的群体以男性为主,高龄、屈光度高、眼轴长是导致患者眼底病变的危险因素,对于高危群体我们建议需要采取综合干预,让患者的眼底病变几率下降,降低高度近视眼底病变发生率。

2.手术治疗。前列腺脓肿初期进行保守治疗；对于严重的前列腺脓肿，保守疗法无效时，可采用前列腺切除术和电脑型高频电刀切除犬前列腺；公犬的去势是治疗前列腺脓肿的最为简易方法。前列腺是雄激素依赖器官，双氢睾酮(DHT)是绝大部分前列腺细胞生存和维持功能所需的活性雄激素。前列腺组织大部分DHT来源于睾丸，可见单纯去势治疗可迅速降低血清雄激素水平，使得前列腺脓肿减小。去势后前列腺在几天内开始退化，一周内触诊发现前列腺减小，2～3个月后前列腺继续减小。

反向传播误差：对每个l=L-1,L-2,…2计算

无线传感器网络集传感器技术、微机电系统(MEMS)技术、无线通信技术、嵌入式计算技术和分布式信息处理技术于一体[2]。随着三网融合技术的兴起，无线传感器网络作为解决“最后一公里”的科学手段，广阔的应用前景使其成为当今世界上备受关注的、多学科高度交叉的热点研究领域。

1)在交通标志数据集中选取训练集输入网络。

2)通过前向算法计算实际输出类别。

第二阶段，反向传播阶段：

1)计算输出层误差，即将前面已计算的实际类别与真实的交通标志对比，求误差。

2)反向误差传播，计算每一层误差。

3)使用代价函数，调整权矩阵。

学生合作讨论，从科学家的实验现象分析、归纳出细胞核在不同的生物中功能相似：与生物的繁殖、生命活动息息相关。

2.2.2 训练的具体公式推导

2.2.1 训练的步骤

1.自治区级社会保险费征收机构。自治区社会保险事业局作为自治区社会保险费征收机构，为自治区人力资源和社会保障厅管理的相当副厅级全额拨款、公益一类事业单位。主要负责社会保险参保登记、费用征缴、权益记录、社会保险待遇支付的管理；负责自治区直属单位、中直企业、南宁铁路局的社会保险费征收以及自治区直属驻邕单位离休干部医疗保障业务的经办管理工作。

1)输入训练样本的集合；

由于矩阵的秩是一个非凸函数，一般来讲，矩阵秩最小化问题是一个NP难问题，求解所需时间随着矩阵规模的增加成指数增长.因此对于大规模的矩阵，秩最小化方法几乎是不可解的.受到压缩感知理论的启发，Fazel在文献[1]中提出了核范数最小化方法恢复低秩矩阵，并且引入了矩阵限制等距性质，对核范数最小化算法的表现进行了分析.Candes和Recht等在文献[2]中将核范数最小化算法应用于矩阵填充问题.令‖X‖*表示矩阵的核范数，等于矩阵的奇异值之和.核范数最小化问题用于求解如下优化问题：

2)对每一个训练样本x：设置对应激活ax,l，并执行下面的步骤；

前向传播：对每个l=2,3,…,L计算zx,l=wlax,l-1+bl和ax,l=σ (zx,l)，其中σ (·)为激活函数。

输出误差δx,L：计算向量δx,L= aC。 σ'(zL)，其中。表示Hadamard乘积，即按元素的乘积；aC表示偏导数C/aLj。

在训练过程中，首先将训练样本随机分为几批，每批含有相同数量的样本。本文批量大小选择为128,使用随机梯度下降训练CNN，对于每次迭代，分批发送到网络进行训练。直至达到最大迭代次数，训练过程才结束。

第一阶段，前向传播阶段：

从上文分析可以看到，现在适用权利用尽理论的主要经济体，除了美国已经否定了该规则的区别适用理论之外，德国、日本及我国都还多多少少保留着区别适用的情况。

输出结果：代价函数的梯度由

战场是生死之地，战争是生命较量，唯有共同的价值信仰及其为伟大理想目标奋斗的精神，才能让官兵面对党、国家和人民的安全挑战向死而生，忠诚报国。在这个意义上，能否打赢正风反腐这场硬仗，事关军队能否忠实履行党和人民赋予军队的历史使命。因此，必须以“永远在路上”的精神持续正风反腐，保持正风反腐高压态势，不给任何败坏党风和军营风气的腐败分子以藏身之地，完全纯正党的政治本色、军队的政治本色。

利用大气等离子喷涂在GH3536高温合金基体上制备了NiAlW涂层。该涂层主要由β-NiAl相组成，结构致密，与基体结合良好，在600 °C下的耐磨损性能明显高于基体，体现出优良的综合性能，可满足高温下对涂层耐磨性能的要求。

3)梯度下降：对每个l=L-1,L-2,…2根据更新权重和偏置。

wl→wl-更新权重和偏置，其中α为学习率，m为小批量的数据大小，上式为深度学习的必要条件。

从此，他们两个经常到一起睡，每次睡过后，杨力生便给李秀花钱，只要给，少则几百，多则几千。李秀花概不推辞。

4)特征融合：F(n)=an·X+(1-an)Y,其中X、Y分别为通路一和通路二的特征，an表示交通标志的权重系数。

3 实验与结果分析

由图1可知，通道一中池化层S2的连接方式不同与传统方式。一方面，S2得到的特征图(feature map)转换成特征向量；另一方面，将S2的特征图继续进行卷积运算得到卷积层C3。最终将特征图转换成特征向量，并作为分类器的输入。使用两种不同尺寸的双通路输入，卷积和池化操作两通路并行处理，在全连接层两通路合并。大尺度的输入卷积后得到特征图更具有全局特性，而小尺寸则获得局部特征的特征图。不同的尺度的卷积核，得到更为丰富的特征图，这些特征图为图片提供了较高的辨别率，分类效果明显优于单一尺度的。

3.1 数据准备

图3 GTSRB数据集一些例子

实验采用德国交通标志数据集(GTSRB)评估本文方法。该数据集包含复杂的场景39209个训练和12630个测试图片以及交通标志的真实边界框和真实标签。图片的尺寸从15×15到250×250大小不等，如图3所示。图片由驾驶时安装在汽车上的相机拍摄，捕获的交通标志图像包含各种具有挑战性的问题，包括由于汽车运动引起的模糊效应，倾斜，由于不同的天气条件导致的亮度变化，图像中的交通标志的非常小的尺寸和遮挡。由于本文使用的卷积神经网络，通路一将图片大小调整为32×32，通路二裁去边缘，保留交通标志的内部指示信息，大小调整为24×24。

3.2 跃层卷积神经网络识别实验

3.2.1 参数设置

该网络包括2个卷积层和2个池化层，是一种轻量级的网络，卷积核的大小为5×5，池化层大小为2×2。激活函数是修正线性单元(rectified linear unit,ReLU)。在卷积层后加入局部响应归一化层(LocalResponseNormalization,LRN)，采用随机梯度下降法来训练网络。

表1 跃层卷积神经网络参数设置

Layers Settings Input 32×32 Conv_1 ks=5×5,nm=108,ss=1 Pool_1 2×2 Conv_2 2×2 Pool_2 ks=5×5,nm=200,ss=1 Concat Flatten(Conv_1),Flatten(Conv_2)Fc_1 nn=100,DropOut Fc_2 nn=N

其中，ks表示卷积核的尺寸，nm表示特征图的数量，ss表示移动的步长，flatten将数据向量扁平化，Concat表示数据连接起来，nn表示全连接层的输出的数量。

3.2.2 实验结果与分析

跃层卷积神经网络的训练如图4所示，每一次迭代结束，记录测试网络的代价函数和精度，其中图4(a)表示GTRSB训练集和测试集的代价函数值，图4(b)为训练集和测试集的精度，可见它们在10次迭代后接近收敛。在饱和状态时训练集明显要优于测试集，我们可以增加训练集数量减少这种差距。对比传统的CNN[11][12]，本文训练网络的收敛迭代次数少，识别精度更高，这是由于在全连接层汇集低层特征图和高层特征图，分类特征较传统的网络丰富许多，因此网络表现更为优秀。

图4 跃层卷积神经网络训练测试曲线

3.3 双通路跃层卷积神经网络识别实验

3.3.1 参数设置

双通路跃层卷积神经网络参数设置如表2。

表2 双通路跃层卷积神经网络参数设置

?

3.3.2 实验结果与分析

由图5可见采用双通路的跃层卷积神经网络(DCLS-CNN)识别精度明显要比单通路LS-CNN高。由表1与表2可知，网络的卷积核数并没有增加，而对通路二的截取交通标志核心区域，输入尺寸变小。双通路输入提升了算法的鲁棒性，将通路一和通路二的特征图融合起来进行交通标志分类，此时全连接层具有更为有用的特征信息。算法的核心信息进一步的增强，且计算量并未增加，故算法的识别效果要优于单通路的LS-CNN。

图5 单双通道跃层卷积神经网络测试精度曲线

各类算法对比结果如表3所示，Cires,An[13]等人提出Committee of CNNs算法精度高，但训练时间长，需要进行大量的预处理；人工方法[14][15]尽管训练时间短，但识别率并不高。本文提出的算法解决了识别率低，训练时间长等问题，操作简单并且能快速收敛，为了进一步提升算法的识别率，可采取对图片的预处理，增强图片的清晰度。

表3 各类算法对交通标志的识别结果

Method Recognition rate(%)Committee of CNNs[14] 99.46 Multi-Scale CNNs[16] 98.31 DCLS-CNNs 97.96 LS-CNN 96.32 Random forests[15] 96.14 LDA on HOG 2[16] 95.68

4 结论

本文提出了基于双通路跃层特征融合卷积神经网络的算法，针对传统神经网络对复杂背景识别不高的问题，利用双通路输入不同尺度图像增加局部不变信息，利用跃层把高层特征图与底层特征图融合在一起获得特征不变性的同时保留交通标志的细节信息。实验表明，本文对GTSRB数据集进行识别，具有较高的识别率和鲁棒性。其准确率明显优于单一跃层卷积神经网络和人工特征提取的方法。本文的不足之处，没有给出与其它算法精确的时间比较，这是由于实验平台的限制，但是根据算法时间复杂度能反映问题。今后的工作，进一步改进网络的结构，进一步减少网络的计算量。同时调整网络的超参数，可以得出更为满意的实验结果。

参考文献

[1]Hamed H.A,Elnaz J.H,Domenec P.A practical approach for detection and classification of traffic signs using Convolutional Neural Networks[J].Robotics and Auton0mous Systems 2016(84)：97-112.

[2]Greenhalgh J,Mirmehdi M.Real-time detection and recognition of road traffic signs[J].IEEE TransactionsonIntelligentTransportation Systems,2012,13(4)：1498-1506.

[3]Liu C,Yuen J,Torralba A.Sift flow：Dense correspondence across scenes and its applications[J].IEEE transactions on pattern analysis and machine intelligence,2011,33(5)：978-994.

[4]Sánchez J,Perronnin F,Mensink T,et al.Image classification with the fisher vector：Theory and practice [J].International journal of computer vision,2013,105(3)：222-245.

[5]Shalev-Shwartz S,Singer Y,Srebro N,et al.Pegasos：Primal estimated sub-gradient solver for svm[J].Mathematical programming,2011,127(1)：3-30.

[6]A.Ellahyani,M.E.Ansari,I.E.Jaafari.Traffic sign detection and recognition based on random forests [J].Applied soft Computing 2016,46(9)：805-815.

[7]Y.Tan,P.Tang,Y.Zhou,W.Luo,Y.Kang,G.Li.Photograph aesthetical evaluation and classification with deep convolutional neural networks [J].Neurocomputing 2017,228(3)：165-175.

[8]RedmonJ,FarhadiA.YOLO9000：Better,faster,stronger[EB/OL].[2070-09-20].https：//arxiv.org/abs/1612.08242.

[9]He K,Zhang X,Ren S,et al.Delving deep into rectifiers： Surpassing human-level performance on imagenet classification[C].Proceedings of the IEEE international conference on computer vision.2015：1026-1034.

[10]Scherer D,Müller A,Behnke S.Evaluation of pooling operations in convolutional architectures for object recognition[C].International conference on artificial neural networks.2010：92-101.

[11]王晓斌，黄金杰，刘文举.基于优化卷积神经网络结构的交通标志识别[J].计算机应用2017,37(2)：530-534.

[12]谭帧刚.基于多分辨率卷积网络的交通标志检测与识别[D].大连：大连理工大学，2015.

[13]Cires,An D,Meier U,Masci J,et al.Multi-column deep neural network for traffic sign classification[J].Neural Networks,2012(32)：333-338.

[14]Zaklouta F, Stanciulescu B. Real-time traffic-sign recognition using tree classifiers[J].IEEE Transactions on Intelligent Transportation Systems,2012,13(4)：1507-1514.

[15]Gonzalez-Reyna S E,Avina-Cervantes J G,Ledesma-Orozco S E,et al.Traffic Sign Recognition Based on Linear Discriminant Analysis[C].MICAI 2013(2)：185-193.

[16]Sermanet P,LeCun Y.Traffic sign recognition with multi-scale convolutional networks [C].Neural Networks (IJCNN),The 2011 International Joint Conference on.IEEE,2011：2809-2813.