0 引言

从单目图像中估计深度一直是计算机视觉研究中的难点问题。由于直接深度感测信息难以获得，而且单眼线索在深度估计中也难以有效利用，最初基于三角测量环境假设的焦点（focus）[1]和运动结构（Structure from Motion，SfM）[2]等技术，在大多数情况下难以准确估计景物的深度信息。

在景物深度估计的研究中，监督学习被广泛应用到单目图像深度估计中[3-7]。Saxena等学者[3]基于前期不同尺度的手工提取特征，提出了一种马尔科夫随机场（Markov Random Field，MRF）模型来实现单目图像中景物的深度估计，并进一步把研究内容拓展到场景的三维重建结构[4]。Zhuo等学者[5]利用一种将场景编码为三级结构的新方法来预测深度，其结果更为准确。不同于以往方法直接从一张单目图像中预测深度，Liu等学者[6]在进行深度估计之前加入了先验知识，事先做好语义分割，给景物加上标签，能进一步提高深度估计的精确度。然而，这几种方法都是局限于静态图像，Ranftl等学者[7]提出了一种动态分割算法从视频中估计深度，将输入光流分割成几个独立模型之后，随后他们也进行了场景三维重建。

除监督学习之外，无监督学习在深度估计领域也发挥了重要作用[8-10]。Karsch等学者[8]先从数据集中用K近邻（K-Nearest Neighbor，KNN）算法选出与给定输入图像空间分布相似的候选图像，然后结合特征信息和先验深度信息估计深度。Godard等人[19]通过强化一致性并结合原始图片和变换后的图片[10]构建神经网络，然后计算误差来训练网络。

在以上的几种方法中，都受限于手工提取的特征。近几年，人们对卷积神经网络（Convolutional Neural Networks，CNNs）的关注度越来越高，CNNs在视觉识别[11]、图像分割[12]、人体姿势估计[13]等领域有着广泛的应用。CNNs能够从网络中自动提取特征而不需要手工参与，其中最著名的网络结构有AlexNet[14]、 VGGNet[15]、 GoogLeNet[16]和ResidualNet[17]。基于卷积神经网络估计图像深度也取得了研究进展，Liu等学者[18]将原图分割成超像素，然后利用条件随机场（Conditional random field，CRF）和CNNs来估计图像深度。Eigen等学者[19]设计了一种多尺度神经网络来估计深度，并将他们的工作进一步拓展估计出更多的三维几何信息[20]。此外，Chakrabarti等人[21]提出了一个可以在多个尺度和方向表征几何模型的网络结构。Laina等人[22]基于ResidualNet预测图像深度，大大提高了准确度，将最后的全连接层修改为全卷积层，这种方法节省了大量的内存空间，降低了运算复杂度。

与可见光成像原理不同，在夜间无可见光的情况下，红外传感器能够利用热成像原理在夜间成像，使其在车辆的夜间辅助驾驶领域有广泛的应用，因而估计车载红外图像的深度具有重要的应用价值。其中，一些工作已经开始研究[23-24]，这些工作都是结合某一种机器学习方法如 PCA或者劳斯掩膜进行前期的特征提取，然后结合简单的神经网络进行深度估计。然而，红外图像对比度较低且纹理信息不丰富，手工提取特征无法有效提取有价值的信息，用这些方法对红外图像进行深度估计得到的结果，通常物体轮廓不明显甚至丢失。

对于卷积层的前向传播为：

陈远景副厅长到永嘉缙云调研（省厅执法监察局〈监察总队〉） ...................................................................12-12

1 基本原理

从雷达生成的数据中，可以得到如图1所示的散点图，每个点都有其对应的距离，即代表它的深度值。将深度值置于自然对数空间中，所有深度值都会有一个对数值，将对数值的区间范围进行等刻度划分。基于对数的性质，深度值越大，其对应的对数值就会越平缓，因此对于不同的类别，接近车辆的距离可以被密集分类，远程距离可以被稀疏分类：

 

式中：D表示被分成N类后每个类别对应的刻度范围。

2)采用预先配制NaOH 10g-50 mLH2O溶液与K3Fe(CN)610g-50 mLH2O按1：1比例混合使用，金相试样腐蚀的时间为60 s。

如图2所示，真实深度图被分为三类层次，分别是12、22和32层。从图中可以看出它们的层次越来越密集，这在子图(a)，(b)和(c)中得到证实。子图(c)中的图像层次最密集，这与原先的深度图像最为近似，靠近拍摄车辆的近距离可以细致分层，而远处的距离可以稀疏分层。为了使得分类更密集并符合实际情况，32层分类将被应用于本文方法神经网络的标签图。

  

图1 雷达数据 Fig.1 Radar data

2 网络结构设计

为了验证提出的金字塔输入和两个子网络在模型中发挥的不同作用，图4给出了3种不同输入尺度的红外图像提取的粗略特征和精细特征图，可以看出，(a)列的特征图比较粗糙和模糊，而(b)列的特征图比较精细和清晰，由此可说明粗略特征提取子网络提取了粗略特征，精细特征子网络提取了更精细的特征。并且，对比每一列的每一行，提取到的特征都不一样，说明金字塔输入对于网络特征的多尺度提取有很大的作用。

  

图2 真实深度分层图 Fig.2 Hierarchies of the ground truth

  

图3 网络结构图 Fig.3 The architecture of proposed network

2.1 粗略特征提取子网络

本文设定ε＝0.001。

 

式中：X_Rl对应第l层的输出，同样，X_Rl＋1表示第l＋1层的输出。R为残差块中的残差函数，是对应残差块中的一系列权重参数。

1.3 结果 15例无气腹腹腔镜手术患者均顺利完成手术，无术中中转开腹。经观察术后均无明显疼痛感，无CO2气腹手术造成的肩痛和双肋下胀痛感，术后24 h内均恢复排气。1例卵巢囊肿患者直径为11 cm，术中于子宫直肠窝置腹腔引流管1根，留置2 d后引流液＜30 mL，拔除引流管，无不良反应。除1例老年患者由于基础疾病糖尿病影响切口愈合，延迟2 d出院外，其余14例均于术后5 d拆线出院。

对于一个批次中的输入特征图：B＝{X1…4}，需要学习的参数：w, b，当前层的输出{yi＝BNw,b}，归一化迭代过程如下：

本文提出了一种金字塔型残差神经网络PRN，用来估计单目车载红外图像的深度信息。首先，本文网络模型 PRN的输入是一系列的金字塔红外图像，它们由具有多个分辨率的相同视角的红外图像组成。红外图像相比可见光图像分辨率更低，通过金字塔输入，网络可以提取不同尺度的特征图[25-26]，因而能够检测不同尺度的不同物体。通过网络训练，预测图中的场景轮廓比没有金字塔输入的相同模型更加明显和完整。网络结构分为两部分，粗略特征和精细特征提取子网络分别用来提取不同尺度特征，残差神经网络结构解决了传统网络结构网络因层数越深而出现梯度消失的问题。第二，通过分类思想，将真实深度值置于自然对数空间，将其处理成具有层次结构的深度值。对数空间意味着距离越近，距离能够细分。将深度值置于自然对数空间，使得近距离能够被细致分类，而远距离被粗略分类。最后本文利用全卷积层的思想[22]使得参数数量减少，大大降低了计算的复杂度，避免了存储上的重复。

 

式中：C是卷积函数；Mj是输入特征图的集合；X_Cl－1和X_Cl分别代表每个有卷积操作的输入层和输出层，w和b分别是权值和偏置项，*代表卷积操作。残差模块 1到残差模块 2的卷积操作中，输入 X_Cl－1为16张40×144，则Mj＝16，输出32张特征图，做卷积核大小为3*3的卷积操作，w为[3, 3, 16, 32]维矩阵，b为[32]维矩阵。

这主要是指大断面浅埋偏压隧道在开始时要注意控制标准面上下部的每循环开挖尺寸。大体而言，上导洞的每循环开挖尺寸应控制在0.5m内，下导洞视周围岩石的稳定情况定位0.5～1m，保证下部落后于上部约5～10m。

从行为方式上来看，负面清单模式是相较于政府主动管制行为的一种相对被动的管理方式，单纯依赖于负面清单显然只能助长政府的惰性和社会经济主体的逐利性，也只是一种缺乏互动参与的单方面行为方式。从理论上讲，政府与市场并非市场管理中的单选题,两者能否互动以及如何互动才是问题的关键。在市场与政府间进行选择并不关系到制度完善或者不完善的是非问题，而是通过何种途径将不完善变得更完善，降低缺陷的程度。比较理性的选择并不一定要在完善的市场机制或者完善的政府管制之间二选一,而是要在不完善的政府和不完善的市场之间构建有效的协调互动机制,在博弈中寻求政府与市场的契合点,以保证现代市场经济的规范运行。

 

对于本层的输入特征图X，ReLu激活函数使得学习周期大大缩短。

对于图3中的粗略特征提取子网络中残差模块，本文定义C(k, s)为卷积操作，其中k和s分别表示卷积操作的卷积核大小和滑动窗口大小。图3中本文定义：C为卷积，B为归一化，R为ReLu激活函数，MP为最大池化，S为Softmax，箭头表示前向传播的方向，则该子网络初始层可表示为C(3, 1)→B→R，残差模块 1（Residual Block1）的初始定义为 C(3,1)→B→R→C(3, 1)→B→R，据图3可知残差模块2和残差模块 3结构都可表示为 C(3, 2)→B→R→C(3,1)→B→R，从输入到网络初始层到3个残差模块的特征图个数对应着1→16→16→32→64。对于3种不同分辨率的红外输入图像将分别通过这个子网络前向传播。由以上操作进行特征提取后，特征图的大小将变为对应输入图像的1/4。

 

深度残差神经网络因其优越的特性得到了众多学者的青睐，本文将采用残差单元提取金字塔型输入的粗略特征。残差神经网络包含残差块，这意味着信息可以直接从一个残差块传播到另一个残差块，中间没有信息损失。在一定程度上，这有效地解决了传统网络因层数太深出现的梯度消失和退化问题。残差块的数学表达形式如公式(2)所示：

2.2 精细特征提取子网络

仅提取红外图像的粗略特征是不全面的，精细特征提取子网络用来综合粗略特征提取子网络得到的特征图和其对应的原始输入图像，最后融合不同分辨率输入图像的特征图。

沿用上述的数学表述方法，MP(k, s)表示核大小为k，滑动窗口为s的最大池化操作，则精细子网络部分的网络结构可表示为 C(5,1)→MP(2,2)→C(5,1)→MP(2,2)→C(3,1)→C(1,1)→C(1,1)，特征图个数分别为：1→64→64→128→512→32。

池化层的前向传播为：

 

式中：downsample(·)代表下采样操作；MP是最大池化函数；X_Pl－1和X_Pl分别代表每个有池化操作的输入层和输出层，b代表第 l层的偏置，其大小与第 l层的输出特征图个数相同。输入40×144的特征图经过MP(2,2)，则大小变为20×72。

中国是一个多民族国家，正确处理好民族关系，直接关系到中国革命的成败。长征期间，中央红军历经11个省，红军每到一处，我们党不仅有针对性地制定出台了相应的民族政策，更重要的是还培育一批少数民族干部，这些民族干部在长征期间，为解决民族问题发挥了不可替代的作用。

激活函数ReLu：

对于金字塔输入中的单张相同分辨率红外图像，将精细网络中的特征和粗略特征网络中的特征图连接，经过一次卷积操作，如图3所示，再将对应不同分辨率的所有特征图连接。由于不同分辨率的输入得到不同尺寸的特征图，因此需要上采样。本文应用反卷积层[28]将它们转化成相同尺寸的特征图，之后经过两次卷积操作和一个线性分类层，最终得到对应的一个40×144的深度标签。传统网络最后使用的是全连接层，本文使用全卷积层，这样有助于提高卷积操作的感受野，减少了网络参数个数和计算量。

2.1.4 主动脉夹层破裂致心包填塞 男性19名，女性1名；年龄41.8±10.3岁；心脏质量456.9±126.7 g，明显大于钝性暴力致心脏破裂组（P＜0.05）；心包积液量556.5±238.2 mL，均伴有大量凝血块，心包积液量明显大于钝性暴力致心脏破裂（P＜0.01）、急性心梗致心脏破裂（P＜0.05）和心肺复苏致心脏破裂组（P＜0.001，表1，表5，图1）。

本文网络的损失函数为：

 

式中：第一部分是正则化项，{w}是一系列权重参数集合，λ是可以由神经网络自动学习的参数；第二部分是交叉熵项，pi和pi*分别代表网络输出和真实深度标签图中的像素，N是像素总数。

针对红外图像纹理信息不丰富，手工提取特征无法有效利用这些信息，本文提出了一种神经网络来自动提取特征，从而不受前期手工特征的限制。而传统神经网络的单个红外图像输入容易导致估计出的物体轮廓丢失或者不明显，本文采用金字塔型输入[27]并设计了一种新型的网络模型。如图3所示，将多种分辨率的红外图像组合成金字塔，作为神经网络的输入，使得神经网络能够提取多尺度的特征。本文将输入的红外图像统一转换成3种分辨率的金字塔输入：40×144，80×288和 160×576，这样可以使得景物的轮廓特征能更好地被提取，转换之后的红外图像大小分别为原图的1，2，4倍大小。网络结构中间分为两个部分，分别是粗略特征提取子网络和精细特征提取子网络。图中注释如16@3*3表示该区域的特征图个数为16，卷积核大小为3*3。金字塔输入包含同一场景下的3种不同分辨率的红外图像，虚线部分代表其他两种分辨率的输入和第一种分辨率的网络结构相同，都有粗略和精细特征提取子网络。3种不同分辨率输入分别经过3种相同的网络结构分别工作，第一次特征图连接（concat），是连接此分辨率输入下的粗略特征，提取子网络的64@5*5特征图，第二次连接特征图（concat），连接3种不同分辨率输入产生的128@3*3特征图，此时所有不同分辨率的特征图被连接到一起估计出该场景的深度值。以下将以其中分辨率为40×144输入为例，解释网络结构。

3) 不同浓度药剂的制备。试验设5个浓度梯度，90%阿维菌素原粉和25%甲胺基阿维菌素苯甲酸盐母液的配制浓度分别为25 mg/L、50 mg/L、100 mg/L、200 mg/L和400 mg/L；81.7%噻唑膦原油的配制成浓度分别为10 mg/L、20 mg/L、40 mg/L、80 mg/L和160 mg/L，以加等量无菌水为对照(CK)，3次重复。

  

图4 三种不同分辨率输入下粗细特征中间结果可视化Fig.4 Three different resolution inputs under the thickness feature of the intermediate results visualization

3 网络训练

本文的所有实验都是基于谷歌公司开源开发的深度学习平台Tensorflow，开发环境是单机上的Linux系统，网络训练过程使用了一个NVIDIA GTX 970 GPU。本文的训练数据集由1.8 G车载红外图像组成，测试集数据大小为520 MB。神经网络中的权重都由truncated normal初始化，偏置初始化为常量 0。训练模型采用Adam Optimizer优化函数，学习率为1×10－3来最小化损失函数，综合上述公式并根据求导的链式法则，反向传播并更新参数：

对于输出层（第l层）残差：

《新课标》认为：“语文教学要注重培养学生的自主学习精神，并让学生通过合作和探究来解决问题。”提升小学中年段学生写作水平，是教师进行游戏作文教学的目的。游戏仅仅是一种教学形式，要求学生进行写作，提高学生写作水平才是最终目的。教师需要注重自身在这一过程中的指导作用，保证通过游戏让每个学生能在写作过程中倾注自己的真情实感，而不是仅仅记录游戏过程，否则游戏作文教学就失去了原本意义。

一杭不想回家，又无处可去，便回到城隍公寓。公寓的大门仍紧闭着，站没站处，坐没坐处。一杭内急，偏偏倒倒走进公寓门口的公厕里，意外发现一张破藤椅，便一屁股坐下去，头靠在扶手上，睡着了。

 

对于l－1, l－2, …, 2的隐藏层残差：

 

计算各层的权值和偏重的偏导数：

 

本文定义最大训练步长为80000次，batchsize为4。每供给网络一次输入图像，都是随机选取的。整个训练过程在本文的训练集上用了 18个小时，每个批次用了大约0.75 s，每张图片大约0.19 s。训练过程的损失函数每20次迭代保存一次，如图5所示，损失函数值最后小幅振荡并趋向于稳定。

  

图5 训练过程损失函数Fig.5 Training loss

4 实验结果与分析

为了验证本文提出的网络结构的性能，从准确率和误差两个方面进行比较，将前人研究中通用的评价指标作为参考[7-10]，包括以下几种：

平均相对误差（REL）：；

黄油、猪油样品溶解后摇匀，倒入体积为10 mL小烧杯中，放于温度为80℃的水浴锅中水浴30 min。参照AOCScd16-81标准(直接NMR方法)，将6 mL样品倒入内径0.8 cm的固脂管中，采用连续分析法在测定温度下水浴恒温一定时间后，将样品放于小核磁共振仪中，测定温度依次10℃、20℃、25℃、30℃、40.0℃测定温度保温时间均为30 min。

均方根误差（RMSE）：；

平均log10误差（log10）：；

阈值：p的百分比。

式中：p表示标签深度图中的像素；是与深度图对应的预测深度图中的像素，两者的索引都为 i，N是测试集中所有像素的个数。

如表1所示，本文进行了5个对比实验，针对同一个520 MB的红外图像测试集，各自的性能评价指标在表中列出。根据表中的数据可以得出以下结论：第一，本文提出的方法在几种对比实验中取得了最高的准确率，说明了 PRN结构的可行性且具有较好的性能，比不加金字塔输入的准确率更高，同时比其他几种传统的网络模型要好。第二，本文方法的误差评价指标最小，进一步证明了PRN模型的良好性能。

 

表1 对比实验性能评价Table 1 Performance evaluation of comparative experiment

 

随机选取测试集中的一张红外图像预测深度值，再将其与对应的真实深度标签对比，如图6所示，二者的密度分布相似，说明预测的深度与其真实深度拟合效果很好，尤其在距离较近时二者相关性很大，PRN结构很好地学习到了输入红外图像的分布特征。

  

图6 数据分布图Fig.6 Data distribution

图7列出了3组实验结果，分别是测试集中3个不同场景的对比实验，第一行是真实深度图。从图中可以看出，每一列的从上往下，预测出的深度图效果越来越差。以场景1为例，近处灌木丛的轮廓在本文提出的 PRN中得到了较好的预测，但其他方法预测出的景物轮廓就比较模糊，相比与本文方法未加金字塔型输入，结果证明了金字塔型输入提取多尺度特征是可行的。在精确度方面，本文预测的深度图的清晰度也好于其他方法。

  

图7 对比实验结果 Fig.7 Comparison of experimental results

5 结论

本文提出了一种新的深度估计模型 PRN从单目红外图像的深度，可以对夜间 DAS提供帮助。与传统方法手工提取特征不同，神经网络可以实现图像特征的自动提取。原始深度图置于自然对数空间中，对深度进行多层分类。金字塔输入模型可以更好地提取不同尺度的特征，这在物体检测领域中有了广泛的应用，在本文实验中也具有良好的性能。粗略特征子网络和精细特征子网络分别扮演不同的角色，用于粗略特征提取和信息整合。本文网络最后使用全卷积层，大大减少了计算量和存储空间。实验评价指标和结果证明，本文的深度估计方法具有可行性且优于传统方法。

本文是针对单幅红外图像进行的深度估计，今后将估计红外视频的深度，利用帧间信息来分析设计网络模型，充分利用移动物体的信息。同时，本文实验期望采集多种场景的红外图，进一步验证并修改提出的方法。

参考文献：

[1]Suwajanakorn, Supasorn, C Hernandez, et al. Depth from focus with your mobile phone[C]//IEEE Computer Vision and Pattern Recognition,2015: 3497-3506.

[2]N Snavely, S M Seitz, R Szeliski. Skeletal graphs for efficient structure from motion[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2008: 1-8.

[3]A Saxena, S H Chung, A Y Ng. Learning depth from single monocular images[J]. Advances in Neural Information Processing Systems, 2005,18: 1161-1168.

[4]A Saxena, M Sun, A Y Ng. Learning 3-d scene structure from a single still image[C]//IEEE International Conference on Computer Vision,2007, 31(5): 1-8.

[5]W Zhuo, M Salzmann, X He, et al. Indoor scene structure analysis for single image depth estimation[C]//IEEE Computer Vision and Pattern Recognition, 2015: 614-622.

[6]B Liu, S Gould, D Koller. Single image depth estimation from predicted semantic labels[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2010: 1253-1260.

[7]R Ranftl, V Vineet, Q Chen, et al. Dense monocular depth estimation in complex dynamic scenes[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2016: 440.

[8]K Karsch, C Liu, S B Kang. Depth transfer: Depth extraction from video using non-parametric sampling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(11): 2144-2158.

[9]C Godard, O M Aodha, G J Brostow. Unsupervised monocular depth estimation with left-right consistency[C]//IEEE Conference on Computer Vision and Pattern Recognition. 2017: 6602-6611.

[10]R Garg, V K. B. G, and I. D. Reid. Unsupervised CNN for single view depth estimation: Geometry to the rescue[C]//European Conference on Computer Vision, 2016: 740-756.

[11]K He, X Zhang, S Ren, et al. Sun. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(9): 1904–1916.

[12]LiangChieh Chen, George Papandreou, Iasonas Kokkinos, et al.Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs[J]. Computer Science, 2014(4): 357-361.

[13]Tompson Jonathan, Jain Arjun, LeCun Yann, et al. Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation[J]. Eprint Arxiv, 2014: 1799-1807.

[14]Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the Acm,2012, 60(2): 2012.

[15]Simonyan K, Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Eprint Arxiv, 2014: 1409-1556.

[16]C Szegedy, W Liu, Y Jia, et al. Going deeper with convolutions[J].Eprint Arxiv, 2015: 1409-4842.

[17]K He, X Zhang, S Ren, et al. Deep residual learning for image recognition[J]. Eprint Arxiv, 2015: 1512-03385.

[18]F Liu, C Shen, G Lin. Deep convolutional neural fields for depth estimation from a single image[J]. Eprint Arxiv, 2014: 1411-6387.

[19]D Eigen, C Puhrsch, R Fergus. Depth map prediction from a single image using a multi-scale deep network[J]. Eprint Arxiv, 2014:1406-2283.

[20]D Eigen, R Fergus. Predicting depth, surface normals and semantic labels with a common multi-scale convolutional architecture[J]. Eprint Arxiv, 2014: 1411-4734.

[21]A Chakrabarti, J Shao, G Shakhnarovich. Depth from a single image by harmonizing overcomplete local network predictions[J]. Eprint Arxiv,2016: 1605-07081.

[22]I Laina, C Rupprecht, V Belagiannis, et al. Deeper depth prediction with fully convolutional residual networks[J]. Eprint Arxiv, 2016:1606-00373.

[23]SUN S, LI L, XI L. Depth estimation from monocular infrared images based on bp neural network model[C]//International Conference on Computer Vision in Remote Sensing, 2012: 237-241.

[24]XU L, ZHAO H, SUN S. Monocular infrared image depth estimation based on deep convolutional neural networks[J]. Acta Optica Sinica,2016, 36(7): 0715002.

[25]REN S, HE K, R Girshick, et al. Object detection networks on convolutional feature maps[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 50(1): 815-830.

[26]REN S, HE K, R Girshick, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. IEEE Transactions on qPattern Analysis and Machine Intelligence, 2017, 39(6): 1137.

[27]Y Xiang, W Choi, Y Lin, et al. Subcategory-aware convolutional neural networks for object proposals and detection[J]. Eprint Arxiv, 2016:1604-04693.

[28]H Noh, S Hong, B Han. Learning deconvolution network for semantic segmentation[J]. Eprint Arxiv, 2015: 1505-04366.