1 引言

在机器学习领域中，大多数的应用问题都是通过分类器模型来解决的。从Rosenblatt研究出感知机（Perceptron）这一线性分类模型以来，对分类器的研究得到了迅速的发展。感知机仅能对线性的数据进行分类，而在现实中许多问题都是非线性的。后向传播算法的出现使得神经网络成功地应用于非线性的分类问题。此时的神经网络还较为简单，通常为三层，即输入层，隐藏层和输出层。Vapnik等人在1992年提出了支持向量机，巧妙地运用核函数方法将非线性问题转换为线性问题。由Hinton和LeCun等进一步发展出来神经网络深度学习算法，使得神经网络的学习能力得到了飞跃式的提高。使得深度学习成为当前机器学习的主流方向。Belzmann机和卷积神经网络等技术的发明，使得深度学习算法在各个领域的应用都超越以往的方法，取得了最好的效果。随着深度学习领域的不断发展，出现了许多优秀的计算框架，例如Caffe，Pytorch，Tensorflow，MXNet等等。其中Pytorch是以Torch为基础，使用Python脚本语言实现的版本。针对于大型的多层神经网络和大规模的训练数据，这些平台都可以使用GPU进行加速，从而极大地缩短训练的时间。

本系统采用“用户端+云端”的系统架构，用户端App通过蓝牙接口与手表式血压计相连接，实现血压监测，并上传监测数据和生理参数(身高、体重、心率、血压以及年龄)至云端服务器，获取医疗管理服务。云端服务器做业务逻辑的处理，并在此基础上实现个人健康数据接收与管理以及智能预警模型的数据分析。本系统具备体征采集与传输、智能监测预警和健康指导的功能。系统架构如图1所示。

机器学习方法也越来越多地应用于现代生活当中。例如汽车的辅助驾驶系统或者是无人驾驶系统，对道路交通标志的识别都将是其中必不可少的一环。考虑到路况的复杂性，交通标志的识别及分类必须要考虑到各种极端条件，例如夜间暗光，雾霾，标志牌上的污渍等等。因此，分类器必须要有极好的可靠性和鲁棒性。目前已经提出了很多分类器算法。支持向量机（SVM）[1]方法采用非线性核函数映射来解决非线性问题，具有较强的泛化能力，且能很好地处理高维度的数据。但由于其中正比于样本数量的矩阵计算的复杂性，使得其并不适合于具有大规模训练样本的应用。另外，SVM作为二分类算法在解决多分类问题时必须使用多个SVM组合来解决。Adaboost方法则是在训练时，通过T次的迭代训练出T个弱分类器，再采用加权投票形成一个强分类器。其中的弱分类器可以是简单的逻辑回归，SVM，极限学习机（ELM）[2]，以及神经网络。Adaboost方法具有结构简单容易实现，不易于过拟合等优点。但同时，当对Adaboost方法选择越复杂的弱分类器时，则越可能发生过拟合，而像图像类的高维数据通常是需要较复杂的弱分类器的。卷积神经网络[3-6]目前以其超越其分类器的优异性能得到越来越多的应用。常用的卷积神经网络都采用了非常多的网络层来获得较好的效果，如ResNet、AlexNet、VGG和GoogleNet等。这样的网络无论在训练还是使用上都需要相当巨大的计算量。

本文在深度学习的理论基础之上，将用于相似度计算的孪生神经网络构造成分类器。在具有相同结构和共享权值的两组多层神经网络中，分别采用了卷积神经网络层，ReLU，max-pooling以及全连通网络，同时还利用dropout技术来预防过拟合问题。该方法能将在原始图像空间难以划分的图像变换到以基准图像为中心的特征空间，再通过距离的测量达到分类的功能。该孪生神经网络只使用很少的网络层，利用相似度计算来实现一个快速的分类器。针对交通标志识别的应用，将原始数据重新构建为具有正负匹配对的训练集。通过短时间的训练，即可达到非常高的准确率。

2 用于相似度计算的孪生神经网络

2.1 孪生神经网络模型

孪生神经网络构架[7]最早由Bromley和LeCun在1990年为了解决数字签名的校验问题而提出。一个孪生神经网络系统由一对孪生的两个神经网络构成。这两个神经网络之间共享权值和偏置等参数，但输入的是不同的数据。通过神经网络的前向处理，可以将原本在原始空间中分辨困难的数据进行维度规约[8]，从而变得容易分辨。例如48×48的图像块，其原始的维度便是2 304，这样很难对一对图像块进行比较，也就是说很难采用常用的欧式距离计算它们之间的相似度。通过神经网络的处理便可以只提取出其中的特征向量，在孪生神经网络的后端只需对提取的特征向量进行欧式距离计算即可。这是因为在特征空间中，各个图像块的特征向量能反应出它们之间的真实相似度。孪生神经网络的构架见图1。

  

图1 孪生神经网络的构架

变换图像It的生成还需要满足可微分性，这样才能够通过后向传播中的梯度下降算法进行有效的训练。为了保证变换后输出图像的准确性，采样器中可以采用双线性插值方法从输入中获取变换输出的像素值。双线性插值的公式为：其中V输出的变换图像通道c上任意像素i，其坐标由Tθ(xt)计算为(x,y)。U则是输入中同样通道坐标为(n,m)的像素。max函数确保插值的邻域仅为(x,y对应输入中(x,y)处的一个像素范围内。该式对于U和x的偏导数分别为：

实验首先利用采集器采集实验所需相关实验数据，然后利用 matlab通过卡尔曼和自适应卡尔曼对实验数据进行验证，通过不同算法处理前后数据的偏差值的对比来验证和说明自适应卡尔曼的优越性。实验结果如下图所示：

 

idxs ← shuffle（idxs）

 

2.2 使用深度网络的实现

本文使用的深度孪生神经网络构架见图2。其分为特征提取网络和相似度计算两个部分。在特征提取网络中，共包含四层的卷积神经网络。不同层次的卷积神经网络用于提取不同层次的特征。以容易理解的第一层卷积神经网络而言，其直接接受输入的图像，并从图像上提取所需的特征。经过训练，其通过都会提取图像中的各式各样的点和边特征。在卷积神经网络的后面使用非线性的Relu激活函数作为该层的神经元。对于大规模的数据来说，ReLu激活函数具有比sigmoid激活函数和tanh激活函数等更好的拟合能力[10]。其也更能增强网络的非线性，以及使得后面的神经网络更具判别性。第三层的卷积网络层产生的结果和第四个卷积网络层的结果会共同输出到全连通神经网络层。因为第四层卷积网络层比第三层卷积网络提取更全局的特征，因此第一个全连通网络接受到的是来自前级多尺度的特征输入，形成多尺度卷积神经网络[11]。另外，在前三个卷积网络层的后面都使用了max-pooling层来提供对微小移动的不变性。每个卷积网络层还使用dropout技术[12]来防止网络的过拟合。第一层全连通网络同时连接到第三层和第四层卷积网络的特征输出，起到承接的作用。第二层的全连通网络的输出为128维的最终特征向量。

  

图2 孪生神经网络的结构图

所定义的网络的配置参数见表1。使用的名称中，前缀的“Conv”表示卷积网络层，“Pool”表示max-pooling层，而“Full”则表示全连通网络层。通过插入max-pooling层可以逐步地减少特征的维度，从而减少计算量。

 

表1 孪生神经网络各个网络层的参数

  

?

3 作为分类器的孪生神经网络

1.3.2.5 心理护理 ①及时解除患者对疾病的焦虑、恐惧等不良心理活动;②加强沟通，使患者建立积极、乐观的健康心理。

（3）模具检验 按时对模具进行定期检验，保证铸造毛坯的外形无尖角及毛刺，铸件转角处适当增加铸造圆角，避免模具上尖角位导致的应力产生。

识别过程的示意图见图3。为了将孪生神经网络应用为分类器，如何对其进行训练是非常重要的。在一般的采用单一深度网络结构的分类器上，只需要利用给定的分类标签对原始的训练数据集进行训练即可。而如果采用孪生神经网络结构，则需要对原始的训练数据集进行处理，使之符合孪生神经网络的训练模式。首先，需要一个从每个交通标志类的训练样本中确定一个样本作为基准，使得在进行相似度计算时有一个参照（见图4（a））。然后将原始数据集中的样本两两组合成大量的正样本对和负样本对。正样本由基准样本和同类别其他样本形成，负样本由基准样本和不同类别的其他样本形成。具体的孪生神经网络训练集的生成算法为：

  

图3 作为分类器使用的孪生网络

  

图4 （b）生成的8对随机样本

算法1生成正负样本对

forn=0…43do

i=p+

Wnt通路是Wnt基因调控的信号传递通路，由多种蛋白、受体及酶等组成。对照组的GSK-3β、TCF/LEF表达率小于诱导组，差异具有统计学意义（P＜0.05），而sFRP、insulin和C-peptide表达率大于诱导组，差异具有统计学意义（P＜0.05），见表2。

idxs←range(pp+cn)

其中Dw为孪生神经网络输出的两个特征向量的欧式距离，即Dw(X1,X2)=||Gw(X1)-Gw(X2)||。由Gw来表示孪生神经网络将输入X1,X2映射到它们的特征向量。m值用于在Gw上定义一个边界，使得只有距离在该范围内的负样本才对损失函数有影响。对于所有的训练样本，最后得到的总体损失函数为：

1.2.1 试验组 MMC置管方法：实施MMC穿刺的护士均为本科室两位接受过PICC置管培训，有1年以上置管经验的护士。导管选用法国美德公司生产的导管，导管材料为聚氨酯，型号4 Fr，长度40 cm，穿刺针型号14 G，置管部位为上肢，根据患者血管情况选择贵要静脉、周正中静脉或头静脉，B超引导下进行穿刺，置入长度标准为：B超下证实导管尖端位于腋静脉，不超过腋静脉，且进一步在X线下确定其位置[5]。试验组MMC置入的长度为27～30 cm，平均为（29.08±0.85）cm，穿刺的部位贵要静脉20例、肘正中静脉7例、头静脉2例。

form=0…cido

return Sample

l_idxs←range(0,p

r_idxs←range(p+cn,Ns)

定干能减少树体对营养和水分的消耗，能集中营养，促进剪口下芽子的萌发，明显提高成活率。苹果树根据树形要求及苗木质量进行定干，一般高度为80～100厘米。选择迎风方向，并且在饱满芽位置上方适当距离定干，剪口距离饱满芽0.5厘米，定干之后应注意剪口的保护，可以涂抹愈伤膏等药剂保护伤口。

idxs← shuffle（idxs）

齐齐哈尔作为东北重工业基地的一个代表，工业遗产丰富。目前，共有四处具有历史学、社会学、建筑学、以及审美价值的工业文化遗存集中连片区被列入规划范围。分别是第二机床厂（中国通用技术集团齐齐哈尔二机床有限责任公司）、富拉尔基重型机器厂 （现中国第一重型机械集团公司）、北满钢厂 （现建龙北满特殊钢有限责任公司）、富拉尔基热电厂（现中国华电集团公司富拉尔基热电厂）。目前仅有位于碾子山区的华安机械厂 （现同为中国兵器工业集团北方华安工业集团有限公司）依托军工产业开发了华安工业旅游示范区，面对市场开放，且该旅游区面临着距离城区较远、配套设施不完善的问题。

form=0…cido

Sample.append(i,idxs[m])

Sample.append(i,idxs[m])

辉钼矿是矿石中的钼矿物，含量较低。辉钼矿以片状或片状集合体形式嵌布在脉石矿物中（见图3），少量以鳞片状浸染嵌布于脉石矿物中（见图4）。

前面论述了孪生神经网络作为计算各图像间相似度的一个强有力的工具。据此，便可以将孪生网络进行相应的改装，使之变为非常高效的分类器。首先，为每一个类别在训练样本中选择一个基准样本，并通过大量的正反图像对对孪生网络进行训练。在测试或实际使用中，基准样本和待测样本都会通过孪生网络提取出它们的特征向量。最后通过计算待测样本与各个基准样本的欧式距离，选择具有最高相似度基准样本所对应的类别作为该待测样本的类别。该方法在实现上具有两个优点。其一是只需要使用很少的网络层即可达到良好的效果。在本文中仅使用了4个卷积网络层，4个ReLU层，3个max-pooling层，以及两个全连通网络层。其二是所需的计算量很小。在网络训练完成之后，各类别基准样本的特征向量可以预先进行提取。在对待测样本进行预测时只需要提取其特征向量，然后再计算与各个基准样本的特征向量的距离即可。

其中使用了两次随机函数用于随机地挑选不同类别中的某个样本作为负的样本对。同时，为了提高训练的效果，对原始的数据进行扩充是非常重要的。在交通标志识别的应用中，必须考虑到采集的标志图像可能会存在包括位移和旋转等各种变换。为了应对这些不确定的变换，必须在训练中对已有的有限样本尝试进行不同的变换。在实际使用中，可以将图像在x,y坐标上进行相比于图像尺寸±T%的随机位移，±R位的随机旋转，以及相比于图像尺寸进行±S%的缩放。一个包含这些变换的正负样本对见图4（b）。

4 空间变换器网络

4.1 理论分析

理想的模式识别系统的主要特性就是其对目标位置、旋转以及形变的不变性。在CNN中引入的maxpooling层可以用来实现微小的位置不变性。但其对于较大的位置、旋转以及形变等起不到太好的作用。因此空间变换器网络（STN）[13]作为一种有效的解决方案变应运而生。STN可以作为孪生神经网络的前级网络，在无需对输入图像进行标定的情况下，能够自适应地对数据进行空间变换和对齐（包括平移、缩放和旋转等）。因此在原有孪生神经网络上加入空间变换网络，可以进一步地提高匹配的准确性。

STN由三个模块组成，分别为定位网络，网格生成器和采样器，其结构见图5。图中U和V分别为STN的前级网络和后级网络。在本文的应用中，U就是输入的图像块，而V则是孪生网络的其中一组卷积网络。定位网络是一个很小的子网络，同样可以由卷积网络和全连通网络混合组成。该网络通过大量的样本进行自学习来产生一个有利于匹配的变换参数θ，这里的变换可以是简单的位移，旋转或者是常用的仿射变换。对于仿射变换来说，由得到的变换参数组成变换矩阵Tθ，对输入的图像块进行如下的变换：

 

其中θ3和θ6表示平移，θ1和θ5的值的大小表示不同程度的缩放，而 θ1、θ2、θ4和 θ5共同表示对原始图像的旋转。网格生成器的作用是用于计算变换后图像It中每个像素的位置对应到的原始图像中的位置。即给定It中任意一点的坐标xt，通过网格生成器能计算出其对应在原图像Is中的坐标xs。

idxs←conca（tl_idxs，r_idxs）

  

图5 空间变换器网络的结构

 

为了能够对孪生神经网络进行训练，需要定义可微分的代价函数。因为孪生神经网络的目的不是为了对输入进行分类。因此用于分类的代价函数（例如交叉熵[9]）并不太合适。令X1,X2为孪生神经网络的输入，Y为指示X1和X2是否匹配的二值标签，有Y∈{0,1}。如果X1和X2相似，则Y=0，如果不相似则Y=1。采用的代价函数为如下的形式：

 

其中sign(·)为符号函数。对于y的偏导数与对x 的偏导数是相似的。公式使得梯度的后向传播从输出流向输入的前级网络U。而公式则使得梯度的后向传播从输出流向STN中的网格生成器和定位网络。因此，不断地运用基于梯度下降的优化算法，便可以令STN不断地得到训练。鉴于STN完全可微分，其可以作为一个通用的神经网络层添加到整个网络的任意地方。通常STN网络仅需使用很小规模的CNN来进行学习，即很少的计算量，但对整个分类器准确度的提升具有显著的效果。

4.2 具体实现结构

由这三个模块组成的STN由于在整体上都是可微分的，自然便可以作为一个功能层无缝地添加到已有的神经网络中。为了提高图像块的匹配率，本文将其作为对每个图像块的预处理层。具体的结构见图6。

  

图6 加入空间变换器网络的孪生网络

在图中的定位网络中，使用的卷积网络分别为Conv_0（32，3）和Conv_1（64，4），其中前后数字分别为滤波器数量和尺寸。使用的全连通网络分别为Full_0（6 400，64）和Full_1（64，6），其中前后数字分别为输入和输出神经元的数量。最后输出的是6个仿射变换的参数。从前馈的角度来看，STN形成了一个具有学习能力的非线性函数：

 

其中函数 f是一个可学习的几何参数预测器，即STN中的定位网络部分。通过它便可以预测出输入图像与基准图像之间的几何变换。通常这一几何变换是能够包含平移、缩放和旋转在内的仿射变换。在训练阶段，STN是作为一种弱监督学习的形式存在的。也就是说对于所有输入的样本对，只给出了该样本对的是否匹配的标签，而并不知道样本中实际目标的相对于基准的变换。通过大量的训练，STN需要自主地学习来获得这些信息。

在STN的使用中有两个需要注意的地方，一是定位网络要足够大才能比较好地捕捉到图片的抽象特征，可以参考论文中的结构，二是空间变换器的初始化要满足一开始输出图片和输入图片相同，否则一开始就随机对图片做变换很难训练得到比较好的结果。以仿射变换为例，空间变换器最后一层输出6个参数的全连接层初始化的权值为0，偏置为[1 0 0 0 1 0]，这样能够开始时保证输出图像和输入图像一样。

5 实验与结果

5.1 实验数据与平台

实验的平台为一台PC机，主要配置为：Intel E5 2643 V2，16GB DDR3 RAM，Intel 240 G SSD，NVIDIA GTX 1070。实现的代码均采用Python语言在Pytorch框架下完成。利用CUDA和cudnn提供的并行加速能力实现快速的训练和识别任务。

为了验证所设想的深度神经网络模型，采用GTSRB路标数据集[14]来完成测试。该数据集中包含了43个不同的路标在各种条件下的样本图像。整个数据集分为训练集和测试集。训练集共有26 640个样本图像，测试集共有12 569个样本图像。这些样本图像具有各种不同的尺寸，而神经网络系统要求的图像为统一的尺寸。为此，在载入图像时对图像进行不同比例的缩放，统一尺寸为48×48个像素。通过生成算法，为孪生网络提供53 280个正负样本对的索引以及每对样本是否匹配的标签，通过它们可以用来进行训练和验证。

在构建神经网络模型之前，还必须完成相关的数据准备工作。对于巨大的训练样本来说，在训练时为神经网络模型快速地提供数据是至关重要的。为了加快训练的速度，在一般情况下都是采用高性能的GPU来进行训练。如果训练的样本仍然存储于硬盘（即使是非常快速的固态硬盘）上，则其读取速度会跟不上GPU的计算速度。导致的结果就是，GPU在很大一部分时间上是处于空闲状态的。为了很好地解决这个问题，则可以将训练样本存储于内存上。在Linux下，采用tmpfs文件系统格式在内存上创建一个临时文件系统。然后，在该文件系统下采用基于键值对的leveldb数据库存储每个图像的像素值及其编号。在存储之前，还需要将表示48×48尺寸patch的numpy数组进行序列化。读取的代码则非常简单，只需要使用db.get函数即可取出指定编号的序列化后的图像。使用pickle.loads函数还原到原始的图像。通过实验表明，在该方法下GPU始终处于满负荷的工作状态。

5.2 实验结果

在测试样本输入到神经网络之前，所有输入的彩色样本都经过归一化处理，分别采用了两种方法来实现。第一种是零均值归一化，公式为z=(x-u)/σ，其中u和σ分别为各个颜色通道上的颜色均值和方差。第二种方法则为对比度受限的自适应直方图均衡化（CLAHE）。在实验中，对原始样本图像进行四种不同变换组合，以及加入空间变换器网络（STN）。对孪生网络的训练相比于单组的网络并没有太多的特别之处，因为孪生网络中的两组深度网络结果相同且共享权值的。因此，利用在前向计算中得到的损失函数，在进行后向误差传播方式的优化时仅需作用于一组网络即可。在训练时对神经网络的优化采用随机梯度下降（SGD）方法和Adam方法，设置它们的学习率分别为0.01和0.001，SGD方法中的动量（momentum）设置为0.9。训练中每批次的样本对数量为512，这样可以充分利用到GPU中的显存，以加快训练速度。对整个网络训练200次，即200个Epoch，得到的损失函数曲线见图7。

  

图7 训练的损失函数曲线

Adam方法能够在训练的过程中自适应地调整各个参数的学习率，可以很快地收敛。而SGD方法虽然设置了比Adam方法更高的学习率，但其收敛的速度仍然比Adam方法慢很多。这充分体现了Adam方法具有非常优异的自适应学习率调整能力，这使得其非常适合于高维度和大数据集的非凸优化。从图中可以看到，使用了STN方法得到了更快的收敛速度。这是由于作为前端的STN会逐步地学习经验，对输入图像进行调整，从而提高后端分类器的效果。

另外，还可以看到，每隔40个epoch在损失函数曲线上会存在一个小的波动。这是因为每隔40个epoch，会重新生成一次样本对，以及对样本对重新进行随机的变换。这一过程可以称为重采样过程。对于前次已训练的很好的神经网络，新生成的训练样本对会产生一点小小的冲击。但随着神经网络不断的学习，这种影响会逐渐变小。训练样本对的重采样是训练数据扩充的重要手段。当数据集本身比较庞大时，为每个样本都进行不同程度的位移、缩放和旋转时，那么训练样本将会成几何级的增长。因此，随机地对样本进行变换，并在训练过程中重采样，可以在不增加太多训练时间的情况下，使分类器神经网络获得更好的性能。

在训练时，每隔10个epoch便会对学习得到神经网络参数进行存储，以供测试之用。从所有保存的神经网络参数中确定出最好的一组神经网络参数。在使用和不使用STN的情况下，所得到的测试结果见表2。

石英占矿物总量的56.1%，主要呈他形、半自形粒状以及粒状集合体分布(图1a、图1c)，粒度约为0.1～8 mm。黄铁矿、黄铜矿、闪锌矿和磁黄铁矿等硫化物矿物常分布于石英粒间以及多个石英颗粒组成的粒间孔洞中；黄铜矿、闪锌矿和方铅矿等硫化物矿物集合体常发育于石英裂隙和粒间孔洞中(图1a、图1b)，由于受到应力作用的影响，粒径较大的石英常具波状消光及应力裂纹。

 

表2 测试结果

  

0 10 0 10 001 5 15 0001 098.03 98.08 98.16 98.60 97.96 98.25 98.19 98.87 98.24 98.21 98.37 99.12

从表1中可以看到，随着使用的随机变换种类越多，对测试样本集得到的准确率会更高。这充分说明在训练时样本的多样性对于神经网络的训练是至关重要的。因为在训练中所学习到的对样本的各种变形可能在测试或者实际应用中就有可能遇到。同时，也对比了采用两种归一化方法，以及不采用归一化方法的测试，显然进行归一化处理后的样本能达到更好的效果。而CLAHE方法也要优于零均值归一化方法。表中的最后一行为在同时使用位移、旋转和缩放的条件下加入STN方法的结果，STN方法的使用进一步提高了识别的准确率，这说明STN能够很好地对原始的输入样本进行校正，使其能够更好地分类。

图8给出了原始图像和经过STN变换后的结果。图8（a）选取了限速30 km的标志的8个不同的输入图像的对比。图8（b）则选取了其他8种不同标志的对比。可以发现，STN会进行各种不同程度的自适应的仿射变换，使它们尽可能地趋近训练时使用的基准样本图像。可以看到图8（a）的第二行STN变换得到的限速30 km标志图像都变得与图4（a）中的基准相似。由于仿射变换本身便是偏移、缩放以及旋转的合成，所以只要由多层卷积和全连通网络构成的定位网络识别出了这些变换并预测出仿射变换参数，便可以使用网格生成器和采样器对原始输入图像进行校正。经过STN处理之后的图像变得更容易为后续的分类器神经网络所识别。

  

图8 （b）STN结果对比

最后与近年来针对交通标志识别的主要方法进行了对比，结果见表3。Committee of CNNs[15]方法为当前取得测试结果最好的方法。该方法利用了深度卷积神经网络和多层感知器进行组合来选择最可能的识别结果，达到了99.46%。但该方法既使用了深度卷积神经网络，又使用了多层感知器，在训练和预测的时间上的花费都比较高。其利用两块GTX 480和两块GTX580，训练时间达37小时以上。WELM-AdaBoost采用了多分类AdaBoost算法，并辅以ELM模型作为弱分类器来进行快速的学习和识别，也达到了99.12%的不错的准确率。Multi-Scale CNNs方法与本文中所提出的孪生神经网络中的单组网络结构很相似，只达到了98.31%的准确率。本文所提孪生神经网络方法采用简练的神经网络结构，取得了仅次于Committee of CNNs方法的结果，准确率达到了99.40%。在实际应用中这样的差距是微乎其微的，且结果都好于人工识别98.84%的准确率。本文方法在单个GTX 1070的支持下只需要很少的训练时间，约3个小时。因此综合考虑，本文的方法是一种性能优异的分类器方法。

河岸和河滩地的宽度除满足平面规划和行洪、排涝要求外，其最小宽度应按照满足人身安全的最小要求设计。城区及城市化河段的滩涂最小安全宽度一般为1~3 m。

为了解决现阶段的不足，更及时准确的发现潜在风险并进行预警，本文以客户交易过程交易数据为着手点开展分析建模工作。考虑到客户使用电子银行业务时，从点击进入功能开始到此笔交易成功完成结束，交易过程中提交的所有数据信息记录到应用日志中。正常客户交易会按照业务逻辑设计在日志中形成正常交易序列，而恶意客户在进行功能探测时会尝试破坏业务逻辑，通过黑客工具改变交易流程顺序，形成一套不同于多数客户的交易序列，而且交易时间间隔也与正常交易存在差异，可作为风险识别特征。以某商业银行的短信支付业务为例，功能主交易流程如下：

 

表3 与其他方法结果的对比

  

Committee of CNNs Siamese Network WELM-AdaBoost人工识别Multi-Scale CNNs 99.46 99.40 99.12 98.84 98.31

6 结束语

本文提出了一种基于孪生神经网络结构的高效分类器。该分类器使用孪生的一对多尺度卷积网络来实现特征提取，并在易分的特征空间中实现两个样本间的相似度计算。为了使孪生神经网络满足分类器的要求，从训练数据集中提取各分类的基准样本，并据此生成孪生神经网络所需的大批量正负样本对。在训练时，还随机地对样本进行了包括平移、旋转和缩放在内的变换，以加大神经网络学习的样本的多样性。在卷积网络的前端无缝地增加了空间变换器网络，在使用时增强神经网络对各种变换的不变性，从而提高了分类器的准确率。将所提的分类器应用于具有复杂环境条件下的交通标志识别任务。通过对GTSRB数据集的实现验证，该分类器能够到达极好的准确率，并能够高效地运行。

参考文献：

[1]Greenhalgh J，Mirmehdi M.Real-time detection and recognition of road traffic signs[J].IEEE Transactions on Intelligent Transportation Systems，2012，13（4）：1498-1506.

[2]徐岩，王权威，韦镇余.一种融合加权ELM和AdaBoost的交通标志识别算法[J].小型微型计算机系统，2017，38（9）：2028-2032.

[3]周俊宇，赵艳明.卷积神经网络在图像分类和目标检测应用综述[J].计算机工程与应用，2017，53（13）：34-41.

[4]王龙，刘辉，王彬,等.结合肤色模型和卷积神经网络的手势识别方法[J].计算机工程与应用，2017，53（6）：209-214.

[5]Paulin M，Mairal J，Douze M，et al.Convolutional patch representations for image retrieval：An unsupervised approach[J].International Journal of Computer Vision，2016，121（1）：1-20.

[6]郭克友，贾海晶，郭晓丽.卷积神经网络在车牌分类器中的应用[J].计算机工程与应用，2017，53（14）：209-213.

[7]Bromley J，Bentz J W，Bottou L，et al.Signature verification using a“SIAMESE”time delay neural network[C]//International Conference on Neural Information Processing Systems.Morgan Kaufmann Publishers Inc，1993：737-744.

[8]Hadsell R，Chopra S，Lecun Y.Dimensionality reduction by learning an invariant mapping[C]//2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.IEEE，2006：1735-1742.

[9]Murphy K P.Machine learning：A probabilistic perspective[M].[S.l.]：MIT Press，2012.

[10]Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems.Curran Associates Inc，2012：1097-1105.

[11]Chen Y，Chen Y，Wang X，et al.Deep learning face representation by joint identification-verification[C]//International Conference on Neural Information Processing Systems.[S.l.]：MIT Press，2014：1988-1996.

[12]Srivastava N，Hinton G，Krizhevsky A，et al.Dropout：a simple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research，2014，15（1）：1929-1958.

[13]Jaderberg M，Simonyan K，Zisserman A，et al.Spatial transformer networks[C]//International Conference on Neural Information Processing Systems.[S.l.]：MIT Press，2015：2017-2025.

[14]Houben S，Stallkamp J，Salmen J，et al.Detection of traffic signs in real-world images：The German traffic sign detection benchmark[C]//InternationalJointConference on Neural Networks.IEEE，2008：1-8.

[15]Ciresan D，Meier U，Masci J，et al.A committee of neural networks for traffic sign classification[C]//InternationalJointConferenceonNeuralNetworks.IEEE，2011：1918-1921.