随着银行ATM机的普及，人们对资金的操作方式逐渐从人工处理转向机器处理，ATM机的出现给人们的生活带来了许多便捷，对于提高金融行业的服务质量和人们管理自身财产方式发挥着不可替代的作用，但一些犯罪分子却通过蒙面的手段对他人财产进行窃取、洗黑钱等违法犯罪行为，导致人们的财产与银行财务的安全周转存在隐患。针对此现象，急需研发一款智能监控系统，将遮挡人脸判别技术融入ATM机，并与公安系统联网，对于遮挡人脸的行为机器就会因为无法辨认其脸部特征而自动停止交易并报警，以此遏制犯罪与提高破案率。

近年来各国都在不断深入研究智能视频监控系统来保证公民的财产安全，阻止有反侦察意识的犯罪分子通过遮住人脸在ATM机前进行违法犯罪活动。例如文献[1]利用混合高斯模型先检测到运动目标，然后运动肤色检测分割出人脸区域，再提出面部的五官特征，通过阈值来判断人脸是否被遮挡，文献[2]中作者提出了基于多分辨率主动形状模型（MR-ASM）的人头定位算法，在精确定位出人头位置下利用基于肤色检测和Adaboost人脸部件检测器的遮挡判定方法；文献[3]中作者提出了一种基于模糊级联分类器和ORB（Oriented FAST and Rotated BRTEF）图像匹配算法[4]相结合的遮挡人脸检测算法；文献[5]中作者提出了一种由动到静的前景目标检测策略，再利用LBP（Local Binary Patterns）+HOG（Histogram of gradient）特征的头肩检测模型结合Adaboost分类器与用PCA联合最近邻分类器对检测出的可能的遮挡区域来做进一步的判识等。这些方法都是根据检测到的遮挡物的类别来进行判别，通过传统特征提取与分类方法如Haar+Adaboost[6]、Hog+SVM[7]等识别，或者结合图像的多种特征，如纹理、梯度、灰度、SIFT（Scale-invariant feature transform）[8]、色彩等进行特征提取，然而这些特征提取方法都是基于滑动窗口的区域选择策略，往往没有针对性，时间复杂度高，效率低，并且在实际的ATM机取款中遮挡物的类型是多变的，仅仅根据遮挡物的类型来判定遮挡，容易受遮挡物、形态、光照、背景等的多样性变化影响，鲁棒性低。

提出了一种较为高效的遮挡人脸判别方法，应用了基于深度学习[9]的快速目标检测模型-YOLO[10]（You Only Look Once）模型，YOLO是基于一个单独的端到端网络，将目标检测作为一个回归问题来求解，从原始图像的输入到物体位置和类别的输出，运用了回归方法与卷积神经网络（CNN）[11]代替了传统目标检测的滑动窗口与手工设计特征的方法进行特征提取，这类特征提取方法不仅不受外界环境影响，并且快速的YOLO目标检测速率能达到155fps，要快于现有的目标检测方法。

运用了YOLO模型实现ATM机上的前期人脸区域定位，再结合DLIB（dlib c++library）库中的人脸68个关键点检测方法，即文献[12]中提及的基于梯度提高学习的回归树方法算法-ERT（ensemble of regression trees）算法进行人脸关键点遮挡判别，通过对人脸图像进行分析，获取一组预先定义好的足以描述人脸形状结构的特征点位置信息，利用了级联回归框架，学习出一个级联的弱分类器直接将特征映射到准确的位置上，检测速度极快（单人人脸关键点检测耗时约为1ms）。通过改进模型使其能够适应不同角度的人脸关键点检测，对人脸姿态的变化更具鲁棒性。避免了传统方法中根据遮挡物的类型进行识别时因遮挡物的多样性而导致的高误检，实现了ATM机上的快速遮挡判定，同时具有较高的召回率。

1 ATM机上遮挡人脸判别框架

智能视频监控系统主要包括：图像获取，图像预处理，人脸定位以及人脸遮挡判别。利用改进的YOLO模型首先回归出人脸的位置，避免了传统的手工提取人脸特征的高耗时低精度的弊端，利用此优点预先定位出需要判别是否遮挡的人脸区域，排除复杂背景的影响，降低了误检率，也提高了利用DLIB进行人脸68个特征点检测的速率与精度，当人脸有遮挡时，则提示“异常人脸，禁止操作”。本文的遮挡人脸判别流程如下图1所示。

  

图1 本文方法的流程图

2 基于卷积神经网络的特征提取

独活种子发芽率测定参考王康才等[7]、周成河等[8]的研究结果，方法如下：从检测过千粒重的独活种子中取0.5 g，清水浸泡12 h，选择3层滤纸作为发芽床，每个发芽床植入30粒独活种子，8次重复，放入20 ℃恒温培养箱中进行培养。每日检查，保持发芽床湿润，以发芽开始后连续5 d没有新种子发芽为发芽结束，计算发芽率。

此方法训练出来的模型能用来检测图片中的人脸位置与置信度，定位出任意人脸区域，速度极快，将其运用到ATM机上的遮挡人脸判别上，不仅可以实现ATM机场景中的快速任意人脸定位，而且相比现有的多目标检测模型人脸定位精度更高，速度更快。利用改进后YOLO模型进行目标人脸区域定位，输出预测出的人脸框的位置信息与置信度；得到每个人脸框的概率信息后，利用NMS排除多余的人脸框，最终得到真实的人脸区域。

主动脉瓣狭窄（AS）是最常见的心脏瓣膜病。其病因不尽相同，治疗上取决于AS的严重程度和患者的临床症状。随着矛盾的低血流、低跨瓣压差伴正常射血分数的重度AS的提出，重度AS的诊断和干预节点备受挑战[1] 。部分研究指出，左室纵轴收缩功能与跨瓣压差和心功能相关，因而进一步影响治疗策略与患者预后[2] ，因此本研究综合临床及超声心动图资料，对不同跨瓣压差、不同射血分数的重度AS左室纵轴收缩功能做一对比分析。

3 基于YOLO模型的人脸定位方法

3.1 YOLO模型

YOLO模型的网络结构类似于GoogLeNet[18]的模型，采用了1×1还原层与3×3卷积层，基础模型共有24个卷积层，后面接2个全连接层。使用了InceptionNet V4结构，如下图2所示[9]：

  

图2 YOLO模型网络结构

综上，现阶段我国体育旅游产业市场有着巨大潜力，对体育旅游专业方向的复合应用型人才有相当大的需求。为满足庞大的市场人才需求，体育旅游专业人才的培养成为我国体育旅游产业可持续发展不容忽视的课题。

YOLO模型的检测速度相当快，不同于滑动窗口区域提取与选择性区域提取方法，YOLO在训练和预测过程中利用全图信息作为网络的输入，经过一次回归便完成了位置和类别的判定，因而YOLO相比其他目标检测算法达到了一个更加快速的检测效果。同时，YOLO能够学习到更加泛化的特征，例如各种遮挡情况下的人脸检测等任务。

卷积神经网络（CNN）试图通过具有多个处理层的计算模型对数据进行多层抽象，是一个由INPUT（输入层）输入图像，CONV（卷积层）对图像进行卷积，再经过RELU（激活函数）传给POOL（池化层）进行池化，最后通过FC（全连接层）将所有特征连接起来的网络 [13]。实质上是一个学习特征的过程，经过CNN学习到的特征具有较强的辨别性，背景部位的激活度基本很少，通过可视化可以看到提取到的特征忽视了背景干扰，只提取目标中关键的信息交由后续的分类器对其进行检测与分类。

3.2 改进的YOLO单一人脸检测模型

运用了YOLO模型中的回归思想进行目标区域的获取，将人脸检测问题转化为单个回归问题，并将改进后YOLO模型用于ATM机上的目标人脸区域定位，大大提升了检测的速率。改进的YOLO模型训练步骤主要如下：

（1）获取训练样本与真实人脸位置标签：通过获取WIDER FACE与CelebA两个人脸库中1000张局部遮挡人脸与2500张正常人脸。在获取训练样本时，收集了大量遮挡人脸样本，以增强训练样本数据的代表性，进一步提高了实验的准确率。并把数据集与标签数据转换为VOC数据集格式，利用这3500张图片与真实位置标签作为训练样本数据。图片大小统一裁剪为448*448的大小，做去均值与归一化处理后与人脸真实位置标签一起存入到训练集中，其中人脸图像存放的位置要与人脸真实位置标签数据一一对应。训练样本集示例如下图3所示，人脸真实位置标签示例（分别代表了人脸位置右上顶点与左下底点坐标）如下图4所示。

  

图3 训练样本集示例

  

图4 人脸真实位置标签示例

（2）划分网格：利用回归思想把图像分成7*7的网格，在这些网格中进行回归训练，划分的矩形区域如下5图所示。

  

图5 划分的矩形区域

每个格子输出2个目标框信息，以及1个分类为人脸的概率信息。目标框信息包含5个数据值，分别是 x，y，w，h，和置信度。其中 x，y 是目标框中心位置相对于当前格子位置的偏移值；w，h是目标框的宽度和高度，并进行了归一化。置信度反映当前目标框是否包含物体以及物体位置的准确性，由式（1）（2）定义。

（7）获取最终目标框：每个网格预测两个目标框，但是在具体计算时，每次只选取了置信度最大或者是跟真实框距离最小的框计算位置损失与求梯度。当在一个网格中遇到两个重叠框，采取对同一个网格回归后保留max（p（c））的目标框，概率计算如式（9）所示。

 

其中，若目标框包含物体中心，则P（object）=1；否则P（object）=0。IOU为预测目标框与物体真实区域的交集面积，以像素为单位，将真实区域的像素面积归一化。

（3）初始化权重：在对图像预处理后，对权重参数进行初始化，权重的初始化采用随机产生n个标准正态分布的权重值。本文的人脸位置定位是基于线性回归的方法，每个卷积层之后使用的激活函数为Leaky ReLu函数，激活函数为损失函数中的参数求解加入了非线性的因素，使网络的分类达到了一个更好的效果，如式（3）所示。

10月份，受中美贸易摩擦影响逐步加大，经济运行不确定因素加剧，加之“进博会”期间石化行业生产经营受限等多重影响，一段时间以来石化行业经济运行持续增长的态势受到遏制，经济增长面临一定的下行压力，主要表现在以下三个方面。

 

（4）分类目标物体：根据全连接层获得的卷积特征进行分类，判断目标物体是否为人脸，若目标物体为人脸则C=1，否者C=0。使用的分类函数为softmax中的交叉熵损失函数。

（5）计算损失函数：利用改进的YOLO单一人脸检测模型对训练图像中的人脸位置进行预测后，得到训练图片中人脸位置的置信度、类别、中心坐标与长宽，与其真实目标框对应的标签信息做损失计算。其中，每个网格需要回归预测的参数为（4+1）*2+1=11维的向量，需要预测的总参数7*7*11=539个与训练图片的真实目标框的标注1+1+4=6个参数（一个置信度、类别、中心坐标与长宽），则对应有7*7*6=294个的标签信息做损失计算。中心坐标与长宽是根据上文给出的人脸位置右上顶点与左下底点坐标计算得出的，并与网格大小归一化后代入计算。损失函数Loss度量了真实概率分布与预测概率分布的差异，差异越大损失越大，计算公式如下（4）所示。

 

其中，coordError、iouError和 classError分别代表预测数据与真实数据之间的坐标误差、IOU误差和分类误差，计算公式如下（5）（6）（7）所示。

 

 

李响[27]基于DEM软球模型，分析了垂直二维振动鼓泡流化床内振动强度和频率对颗粒浓度、速度和床层压降分布的影响，结果表明：沿床高形成了近布风板低颗粒浓度区、床层中部高浓度区和床层表面的过渡区；随振幅和频率增加，颗粒浓度、速度、曳力径向分布都趋于均匀；床层压降随布风板振动而周期运动，随着振幅和频率增加，压降平均值和脉动方差值增大。

（6）求解最优权重参数：通利用随机梯度下降法（stochastic gradient descent，SGD），通过对相应的参数求导，利用反向传播（Back Propagation，BP）的方法即链式法则递归计算表达式的梯度，然后沿着Loss函数梯度方向，来求取使Loss函数最小的最优化模型参数。根据真实标注信息来求解参数，更新权重，得到对应的参数值，W为权重参数，如下公式（8）所示：

 

其中W为权重参数，i，j分别表示对应的目标框与类别，根据真实标注信息来求解参数，更新权重，利用反向传播来计算得到对应的参数值。

观察了几天，他发现每天运钞车都是按时开来，而接款的，始终是两名女职员。终于，他忍不住了，将一把水果刀用报纸包好，揣在怀里，躲在了储蓄所对面的垃圾桶旁边。他的脑子里想的都是房子和未出世的孩子，还有岳父的逼迫和非难，心里充满矛盾、挣扎和恐惧……

宣纸上用水彩作画，馆藏作品中尚有5幅作品。但明显墨线的运用更为突出，而这5幅作品均已按国画的方式装裱成了挂轴或横披，在账本中归类为“国画”一类（图8）。

其中，λcoord=5，λnoobj=0.2，x，y，h，C，p 为网络预测值为给出的真实标签值表示物体落入格子i中分别表示物体落入与未落入格子i的第j个目标框内。本文主要对公式（5）做了相关改进，由于对不同大小的目标框预测中，大的目标框稍微偏一点，对预测结果不会有很大的影响，而对小的来说，偏差同样的距离，影响却是很大，即使用了平方根的技巧优化了这个问题，但是这个问题还能到更好的解决。针对此问题本文采用了将预测的长宽与真实的长宽取差值后再比上对应的长宽，使得偏差同样的距离，小的目标框所贡献的损失应比较大。解决了对于小物体，小的IOU误差也会对网络优化过程造成很大的影响，并与原始的置信度损失计算方式相比，提高了人脸定位的准确性。

 

等式右边第一项是每个网格预测的类别概率信息，第二三项是每个预测框的置信度，这个分数代表了目标物体出现在预测框的概率，也代表了吻合目标的程度，即预测框属于人脸的概率。

看得出来，来自冷凉气候产区的葡萄酒在亚太地区是有着相对广泛的消费者口味基础的。在此次HK IWSC中，新西兰马尔堡横扫三项大奖，除了最高殊荣的“最佳新西兰葡萄酒”，还有“最佳桃红葡萄酒（Rosé）”及“最佳长相思葡萄酒（Sauvignon Blanc）”。

从 R-CNN[14]到 Fast R-CNN[15]再到 Faster RCNN[16]一直采用选择性区域提取[17]与CNN代替传统目标检测使用的滑动窗口与手工设计特征，这使得目标检测效率得到了的大大的提升。但针对实时的ATM机场景检测速率仍然不够，因而本文运用了改进的YOLO单一人脸检测模型，利用回归方法进行人脸定位，具有快速定位目标人脸的效果。

卷积层之后接了一个4096维的全连接层，然后后边又全连接到一个7*7*30维的张量上。实际上这7*7就是划分的网格数，现在要在每个网格上预测目标两个可能的位置以及这个位置的目标置信度和类别，也就是每个网格预测两个目标，每个目标的信息有4维坐标信息（中心点坐标与长宽），1个是目标的置信度，还有类别数20，总共就是（4+1）*2+20=30维的向量。利用前边4096维的全图特征直接在每个网格上回归出目标检测需要的信息（边框信息加类别），这样便实现了对图像的目标检测问题。

4 多角度面部遮挡判别方法

通过改进的YOLO单一人脸检测模型检测出人脸区域后，再利用DLIB库中的人脸68个关键点检测模型在人脸区域内进行遮挡判定。当获得一张图片后，算法会生成一个初始形状就是首先估计一个大致的特征点位置，然后采用gradient boosting算法 [19]减小初始形状和真实形状的平方误差总和。用最小二乘法来求最小化误差，得到每一级的级联回归因子。基于回归的方法直接进行特征提取并学习回归方程，通过设计对姿势变化不敏感的特征可以有效的增强算法对姿势变化的鲁棒性。

首先，对人脸特征点进行初始化，根据当前特征点分布提取对应的HOG与LBP（Local Binary Patterns）特征，结合HOG与LBP特征对图像进行特征提取，保证了图像特征对几何与光学形变的不变性，同时降低了计算复杂度，适应于多角度的人脸特征提取。将提取的特征输入到训练好的弱回归器R得到一组特征点分布残差，根据残差的分布更新当前特征点分布。重复上述过程，实现逼近真实的人脸特征点分布。算法迭代的过程使用如下（10）所示公式。

 

其中表示第t级回归后的特征点分布，Rt表示第t级回归器的更新量，I表示待检测人脸图像，h为HOG特征提取算子。算法的具体流程框图如下图6所示。

  

图6 人脸关键点检测框图

因此，使用68个关键点检测模型即可解决本文的遮挡判别问题。利用DLIB对上文YOLO模型定位出来的人脸进行多角度人脸68个特征点识别；若输出的关键点数landmarknum=68，则判定无遮挡；否则输出“异常人脸，禁止操作”。

5 实验与分析

5.1 测试样本的准备

利用在网上收集的ATM机场景图像与模拟遮挡的人脸拍摄到的400张图像，包括遮挡人脸250张，正常人脸150张，作为算法测试样本集如下图7所示，进行对比试验。

  

图7 测试样本示例

5.2 实验环境与结果

实验是在Linux环境，GTX1060显卡，6G独显，四核i7处理器的电脑配置下运行的，采用的测试环境为：Ubuntu 16.04+python2.7+opencv 2.4+cuda8+cudnn5.1，在caffe框架下运行完成的。利用改进的YOLO单一人脸检测模型进行人脸检测结果如下图8所示。从检测示例可以看出，改进的YOLO模型可以定位出任意情形的人脸区域，排除背景干扰，提高下一步DLIB遮挡判别的准确率。与传统的SVM、Adaboost算法比较，实验结果如图9所示，可以看出本文利用深度学习的方法在人脸局部遮挡的情况下进行人脸检测效果更优，误检更低。

路面宽度充分考虑农村地区农业耕作、大型农业机械通行以及村民出行习惯的要求，结合村庄道路现状，规划将村庄道路分村庄主路-村庄支路-村庄巷道三级。

  

图8 本文算法人脸定位示例

  

图9 传统算法人脸定位示例

利用本文方法训练出来的模型，损失误差随迭代次数的变化曲线如下图10所示，本文的YOLO模型学习率为0.001，权重衰减项0.005，动量为0.9，最初绘制的Loss曲线是将日志中每个loss都显示，但曲线误差大，不平滑，不便于分析，将其稀疏后，从图中纵轴为平均损失，横轴为迭代次数，可以看出随着迭代次数的增加，loss的值逐渐减小。

  

图10 训练YOLO模型Loss变化曲线

定位出人脸区域后，结合DLIB人脸关键点检测模型在定位出的人脸区域上进行遮挡判别，经过改进的人脸68个关键点检测模型，实现了多角度关键点检测，根据关键点检测结果即可判别出是否遮挡，本文方法68个关键点检测结果如下图11所示。对比实验结果图12可以看出ASM（Active Shape Models）人脸关键点方法对侧脸的检测效果较差。而本文的方法可以适应多角度的人脸关键部位的检测，对戴眼镜的也能识别出来。

四是苦痘病与痘斑病。苦痘病主要发生在果实近成熟期和贮藏期。苦痘病与痘斑病都是因为果实缺钙引起的生理性病害。二者的区别是：痘斑病发生后，褐变发生在表层，由外向里扩展；而苦痘病的褐变则先发生在果肉，由里向外变褐、坏死，果肉有明显的苦味。

  

图11 本文算法无遮挡人脸68个关键点检测示例

  

图12 ASM人脸关键点检测示例

5.3 对比分析

本文方法与传统方法在收集到的400张测试样本上进行实验（遮挡人脸250张、无遮挡人脸150张），分别在算法的检测率、误检率、漏检率和检测时间几个方面做了一个比较。假设用S表示测试样本总人数，A表示样本中遮挡人脸人数，B表示正确检测到的遮挡人脸人数，C表示误检的总人数，则遮挡检测率=B/A，误检率=C/S，漏检率=1-B/A，实验结果对比如下表1所示。

 

表1 相关算法数据比较

  

?

实验表明，传统算法不仅检测率低于本文提出的方法，且算法复杂度高，耗时过长，缺乏实时性。而本文提出的基于深度学习的方法无论是在检测率上，还是检测时间上都优于其他的算法，并且远快于其他算法，达到了准确快速判别的目的。故针对本文需要解决的ATM机遮挡人脸判别问题，所提方法不失为一种较优方法。

6 结束语

针对传统的ATM机上遮挡人脸检测算法时间复杂度高与鲁棒性差的问题，提出了一种快速地遮挡人脸判别方法，通过训练YOLO人脸检测网络模型，定位出人脸所在区域，再结合改进的DLIB多角度人脸关键点检测算法对该区域的人脸进行遮挡判别，若为遮挡人脸，则禁止其进一步操作。将其运用到实时场景下ATM机遮挡人脸判别上，实验证明该方法达到了较好的判别效果，与传统的算法相比，检测速度更快，鲁棒性更好，具有一定的使用价值。下一步工作将针对ATM机实时场景中出现的新问题，进一步优化算法的性能，使其在大量复杂的样本中也能表现出较高的判别率。

参考文献

［1］DONG W，SOH Y.Image-based fraud detection in automatic teller machine ［J］.International Journal of Computer Science and Network Security，2006，6（11）:13—18.

［2］郭思郁.用于ATM机的遮挡人脸检测算法研究［D］.南京：南京理工大学，2013.

［3］黄征宇.用于ATM机遮挡人脸检测的模糊级联分类器和ORB算法的研究［D］.长沙：中南大学，2013.

［4］XU X，HUANG Z，GUO Q，et al.A multi-layer background subtraction based on gaussian pyramid for moving objects detection ［J］.Journal of Control Engineering&Technology，2012，2（4），160—167.

［5］LI J，LI B，XU Y，et al.Disguised face detection and recognition under the complex background［C］//Computational Intelligence in Biometrics and Identity Management（CIBIM），2014 IEEE Symposium on.IEEE，2014:87—93.

［6］VIOLA P，JONES M.Rapid object detection using a boosted cascade of simple features［C］//Computer Vision and Pattern Recognition，2001.CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on.IEEE，2001：151—155.

［7］DALAL N，TRIGGS B.Histograms of oriented gradients for human detection［C］//Computer Vision and Pattern Recognition，2005.CVPR 2005，IEEE Computer Society Conference on.IEEE，2005:886—893.

［8］LOWE D G，LOWE D G.Distinctive image features from scaleinvariant keypoints［J］.International Journal of Computer Vision，2004，60（2）:91—110.

［9］YU Kai，JIA Lei，CHEN Yu-qiang，et al.Deep learning:yesterday，today，and tomorrow ［J］.Journal of Computer Research and Development，2013，20（6）:1349.

［10］REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once:unified，real-time object detection ［J］.11Proc of IEEE Conference on Compter Vision and Pattern Recoglition，2016:779—788.

［11］KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks［C］//InternationalConference on NeuralInformation Processing Systems，Curran Associates Inc.2012:1097—1105.

［12］KAZEMI V，SULLIVAN J.One millisecond face alignment with an ensemble of regression trees ［C］//IEEE Conference on ComputerVision and Pattern Recognition.IEEE Computer Society，2014:1867—1874..

［13］BA L J，FREY B.Adaptive dropout for training deep neural networks［C］//International Conference on Neural Information Processing Systems，Curran Associates Inc，2013:3084—3092.

［14］GIRSHICK R，DONAHUE J，DARRELL T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation ［C］//IEEE Conference on Computer Vision and Pattern Recognition，IEEE Computer Society，2014:580—587.

［15］GIRSHICK R.Fast R-CNN ［C］//Proc of IEEE International Conference on Computer Vision，ICCV Press，2015:10—15.

［16］REN S，HE K，GIRSHICK R，et al.Faster R-CNN:towards realtime object detection with region proposal networks［C］//InternationalConference on NeuralInformation Processing Systems，MIT Press，2015:91—99.

［17］UIJLINGS J.R，VAN DE SANDE K.E，Gevers T，et al.Selective search for object recognition［C］//Proc of International Journal of Computer Vision，IJCV Press，2013:115—117.

［18］SZEGEDY C，LIU W，JIA Y，et al.Going deeper with convolutions［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition，2015:1—9.

［19］FRIEDMAN J H.Greedy function approximation:A gradient boosting machine.［J］.Annals of Statistics，2001，29（5）:1189—1232.