随着互联网技术在经济、科研、军事及人们日常生活中的普及，人们越来越离不开它.而互联网攻击者数量的剧增以及其手段的复杂多样性，不经意的疏忽可能造成网络安全的重大隐患.显然网络安全问题已经无法避免，因此对于网络安全的防御变得愈加迫切.目前，入侵检测系统(Intrusion Detection Systems,简称IDS)[1]为网络安全技术的研究热点，同时鉴于传统的网络安全防护技术的局限性，建立一个稳定、可靠且高准确检测的入侵检测模型对提高网络安全具有广阔的应用前景[2].

为使教育生活有意义，班主任必须提升自我意识，将典型、常见的教育现象悬置起来，用自己的专业意识来判断。关键人物、关键事件、关键书籍，这些都是可能促成班主任专业觉醒的外生力量，通过班主任自身的内化转化为专业意识的自觉，成为班主任专业发展的真正动力。

基于机器学习的用户建模是入侵检测领域当今最热的课题[3].当今研究最多的是基于支持向量机算法[4]、神经网络[5]和聚类算法.传统的机器学习算法属于浅层学习，对带标签数据样本数量较少时具有很好的效果，但是随着网络数据的不断扩大，大量高维非线性的无标签网络数据给入侵检测带来了新的挑战，使得深度学习的研究得到开展[6].王声柱等人[7]提出了基于稀疏自编码和半监督的入侵检测方法，提高了分类的性能;康松林等人[8]提出了使用深度神经网络(DNN)和极限学习机相结合的深度多层极限学习机算法，降低了分类的时间；高妮等人[9]提出将深度信念网络应用到入侵检测中，解决了海量网络数据问题.作为深度学习模式识别研究重点，卷积神经网络[10]在计算机视觉、语音识别和自然语言处理等领域中均取得了许多优秀的研究成果，但由于其独特网络结构和IDS的网络数据不兼容，使得卷积神经网络在入侵检测领域无人问津.

鉴于卷积神经网络的独特网络结构和IDS的网络数据不兼容这一问题，本文大胆尝试将卷积神经网络算法应用在网络入侵检测领域中，并验证了其可行性与高效性，实现了卷积神经网络自身以及网络入侵检测领域的较大突破.

1 Lenet-5模型

图1所示Lenet-5模型[11，12]是卷积神经网络里最经典最常用的一种特殊的多层前馈神经网络，它由卷积层和Pooling层组成.卷积层能够通过卷积运算抽取局部特征，而Pooling层能够保留局部最优特征，并对特征结构进行降维，这样即保留了数据的关键重要特征，又除去了冗余特征.

二是农村劳动不足，回收成本过高。随着国家新型城镇化战略的推进，大量农村剩余劳动力转移到城市就业，而留守在农村的以妇女、老人以及小孩为主，因此，从事农业生产的主要是年纪偏大的老人。每年夏收、秋收季节，“双抢”时间紧急，农业生产劳动强度大，缺少足够的劳动力回收秸秆。

  

图1 Lenet-5模型Fig.1 Lenet-5 model

KDD CUP99训练数据的每个连接记录包含了41个固定的特征属性和1个类标识.类标识用来表明这条记录是正常的还是异常的.41个固定的属性中，9个特征属性是离散型，其余均为连续的.其中，1～9的属性是网络连接的基本特征，10～22的属性是网络连接的内容特征，23～31是基于时间的网络流量统计特征，31～41是基于主机的网络流量统计.本文在数据的选择上剔除了6个在分类上不起作用的特征，这6个特征选择在31～41这个区间.31～41这个区间只是用来统计当前连接之前100个连接记录中与当前连接具有相同目标主机的统计信息，所以只是起一个统计作用，在分类上不会提供重要的信息.所以本文从每条记录中选择了35个重要特征，对入侵检测进行分类.

1.1 卷积层

卷积是一种数学积分变换方式，在许多方面得到了广泛的应用，卷积是2个变量在某范围内相乘后求和的结果.如果卷积的变量是序列x(n)和h(n)，则卷积的结果如式(1)所示：

 

(1)

每次的卷积都是1种特征提取方式，这个过程都使原始数据特征得到加强，而噪声会相对减弱.卷积核与原始特征map或上一层输出特征进行卷积，加上偏置，得到当前层的特征map，如式(2)所示：

试验设在青海省循化县街子镇孟达山村，该地海拔2600m，无霜期约180d，土壤系红粘土，前茬马铃薯。2015年3月中下旬采用随机区组设计，3次重复，5行区，小区面积10m2，行距40cm，株距15-17cm，每行30株，小区间距2m。田间管理同当地常规管理。试验期间对各品种的主要农艺性状进行记载，2015年9月下旬成熟后进行考种和测产。

⊗

(2)

式中,是第l层的第i个特征map的输入；是第l-1层的第i个特征map的输出；为前一层的第i个特征map与当前层的第j个特征map的偏置；i∈Mi为前一层中与当前层的第j个特征map有连接的特征map.卷积层提取特征有Same Padding和Valid Padding 2种方式;Same Padding是经过卷积后大小不变map数目增加，而Valid Padding 是通过卷积后会变小map数目增加.由于网络流量数据是1维的，所以本文卷积层采用的是1维卷积的方法.

1.2 Pooling层

全连接层上每个神经元与上一层map特征的神经元一一连接，每个神经元的输出可用式(4)表示.

在军队行政权力清单制度建设中，还必须根据这一制度的特点，建立一整套协调有序、顺畅高效的运行与管理机制，以便保证制度落实效果。

 

(3)

式中,表示对第l-1层的第j个特征map进行子采样.典型的操作一般是对输入图像的不同n×n的块的所有像素进行求和.这样输出图像在2个维度上都缩小了n倍.每个输出map都对应1个属于自己的乘性偏置β和1个加性偏置b；f(*)为激活函数.Pooling方式分为2种：Max Pooling和Average Pooling.Max Pooling是将领域内特征取值最大的作为提取特征；Average Pooling是将领域内特征点求取的平均值作为提取特征.2种方式区别是：Max Pooling能够减小参数误差造成的估计均值偏移，也就是更能保留局部的信息；Average Pooling能减少领域大小受限所造成的估计值方差增大，也就是更能保留数据的全局信息.

1.3 全连接层

Pooling层的输入来自于卷积层的输出，有N个输入maps，就有N个输出maps，只是每个输出maps都变小了.加入Pooling层的目的是可以起2次提取特征的作用，卷积神经网络中的卷积层是对图像的1个邻域进行卷积得到图像的邻域特征，亚采样层就是使用Pooling技术将小邻域内的特征点整合得到新的特征.Pooling的结果是使得特征减少，参数减少，能达到降维的作用.采样过程见式(3).

本文以经典卷积神经网络Lenet-5模型为基础，增加了1层Pooling，对网络结构进行优化并对Pooling层选择方式进行实验验证，模型结构如图3所示.

(4)

式中，x为神经元的输入，hw,b(x)为神经元的输出，W为连接权重，b为偏置.这一层与普通神经网络的运算方式一样.

1.4 分类层

本文采用的Softmax分类器.Softmax适用于多分类的情况，它的原理如下：对于给定的测试输入x，用假设函数针对每一个类别j估算出概率值p(y=i|x).也就是说，估计x的每一种分类结果出现的概率.因此，假设函数将要输出1个k维的向量(向量元素的和为1)来表示这k个估计的概率值.我们的假设函数，即代价函数用式(5)来表示.

他曾经是北京一名受人尊敬的高级策划师，策划了许多成功的商业活动，拿着不菲的薪水，开着公司配备的雅阁轿车，与谈吐优雅的商业人士交往。然而，几年后，他竟然成了抢劫犯！

h0(x(i))

(5)

式中，{值为假的表达式}=0，否则等于1.

在网络入侵检测当中网络流量大部分的数据对于分类没有作用，只有少部分数据能在后期对分类起重要作用.此外，卷积神经网络结构已能在图像和语音识别等诸多领域中很好地完成特征提取任务.基于以上分析，本文利用卷积神经网络模型来提高网络入侵检测中非法入侵的分类效果.

2 CNN-IDS模型

2.1 模型设计

本文提出的CNN-IDS模型的总体框架如图2所示，包含以下3个部分：

供给情况：国产钾方面，盐湖装置正常运作，青海小厂维持低位，厂家库存一般；青海盐湖基准产品60%晶粉到站价维持2400元/吨，地区成交价维持2300-2350元/吨。进口钾方面，到船量仍较少，港口钾库存降至154万吨；市场可售现货较为紧俏，62%俄白钾主流报价涨至2500-2550元/吨。边贸钾方面，市场少量到货，库存一般，可售现货较少，62%俄白钾报价坚挺，维持在2250-2300元/吨。

(1)数据的预处理和数据的读取.将KDD CUP 99数据集[13]中的符号性特征属性进行数值化和归一化处理，获得标准化数据集，然后删除一些对分类不起作用的特征.通过深度学习框架Pandas将数据读入到模型中.

(2)CNN的具体结构.对变换后的数据集进行CNN训练，获得的最优特征通过Softmax分类器进行5种攻击状态的识别.

(3)模型训练和反向微调提升模型的性能.在CNN模型中，梯度下降起到微调整个网络中模型参数的作用.

2.2 数据的预处理

将处理后的数据输入到改进的Lenet-5模型中，训练过程采用的是传统的梯度下降法.其中批量的梯度下降法能够寻找到最优解，但是由于每次更新都需要全部的样本参与，所以收敛的速度很慢；随机梯度下降每次更新只需要1个样本参与，收敛的速度够快但是产生的最优解往往太局部，针对以上存在的问题本文采用mini-batch梯度下降法进行训练，每次训练只需要一小批样本，既保证了收敛速度不会太慢又保证了最优解不会太局部.

  

图2 CNN-IDS学习过程Fig.2 CNN-IDS learning process

Lenet-5模型结构在计算机视觉等领域取得了很好的识别效果，下面以Lenet-5为例对卷积神经网络的结构进行说明.

处理后数据集的每条连接记录是由32个数字特征和3个符号型特征组成，欲对数据进行处理，首先要进行数据的标准化.步骤如下：(1)将字符型数据映射为数字型；(2)对数据进行归一化处理，将数据的大小范围缩小到[0,1]之间；(3)读取记录的类标识.0表示Dos,1表示Normal,2表示Probe,3表示R2L,4表示U2R.

2.3 改进的Lenet-5模型

hw,b(x)=f(WT+b)

  

图3 本文改进的Lenet-5模型Fig.3 The improved Lenet-5 model in this paper

实验开始采用卷积神经网络经典模型Lenet-5.采用Lenet-5处理图像数据时，而数据的不同最优的网络模型结构也会不同，由于每条的网络数据里面的特征大小不一，相差很大，即使归一化后映射到(0,1)区间，区间内的元素有的趋于0，有的趋于1，仍然相差很大.若采用Lenet-5模型中Pooling层的Max Pooling方式，则趋于0的特征永远不会被选取，对分类产生了误差.根据以上分析，本文在Lenet-5模型的基础上增加了1层Average Pooling用于对每条记录中特征趋于0的特征属性进行特征增强，使得获取的特征达到最优.Pooling层根据卷积核的大小和滑动的步长又分为重叠池化和非重叠池化；非重叠池化就是卷积核值等于滑动步长(size X=stride)，如图4所示.

  

图4 非重叠池化Fig.4 Non-overlapping pooling

相应的重叠池化就是：如果卷积核值大于滑动步长(size X>stride)，则每次滑动就会有重叠部分，重叠方式的Pooling能收敛更快，并且精度更高.本文选取的重叠池化的方式，使得改进的Lenet-5模型达到最优.

本文设计的改进Lenet-5模型在增加了1层Pooling的情况下使CNN模型在学习过程中提取最优数据特征，也在一定程度上降低了过拟合现象出现，改进的Lenet-5模型弥补了普通Lenet-5模型的一些缺陷，从而使分类精度大大提高.

返校的时候，妈妈塞给我一个饭盒，我推辞道： “你吃吧，学校有食堂。”结果，她还是悄悄地把饭盒塞进我包里。就在那天，下班很晚，外面街市上人山人海，食堂里又只剩下残汤剩饭，我失落地回到宿舍，突然想起包里还有一盒饭，顿时打起精神来！

3 实验仿真

3.1 实验数据集和仿真环境

实验选用的数据集来源于美国麻省理工学院林肯实验室收集的KDD CUP99数据集，该数据集总共有500万条记录，其中提供10%的测试子集和训练子集.本实验采用的训练数据和测试数据的类别、数目及比例如表1，2所示.

 

表1 训练集类别、数量和比例

 

Table 1 Training set category, quantity and proportion

  

类别NormalDosProbeR2LU2R数据97 278391 4584 1071 12652比例%19.6979.230.830.220.01

 

表2 测试集类别、数量和比例

 

Table 2 Test set category, quantity, and ratio

  

类别NormalDosProbeR2LU2R数据60 593229 8534 16616 189228比例%19.4873.901.335.200.07

仿真环境配置如表3所示.

随着工业化进程的加快，环境问题已经越来越严重，积极配合环境工程建设相关工作，从长远的角度出发，综合考虑各方面因素，努力建设环境友好型社会，所以，需要不断强化相关探究工作，发展经济，促进经济的长期、稳定、可持续性发展。本文主要对现如今环境工程建设现状展开分析，并提出针对于这些问题该如何进行解决。

 

表3 实验环境

 

Table 3 Experimental environment

  

实验环境环境配置操作系统Ubuntu 17.04CPUIntel Core i5-3470内存8GB编程语言Python 3.5深度学习框架Tensorflow 1.0数据读取工具Pandas

3.2 实验方法和模型参数

KDD CUP99数据集是网络入侵检测领域的公认测试数据集，对网络入侵检测领域研究做出了巨大的贡献.

电力输送是能源发展与配置工作开展的基础。在规模较大、距离较远的输电技术应用过程中，与交流输电方式相比，直流输电方式更具有输送容量大、输送距离远的优势，其单位容量的造价以及相应的能源损害程度也比较低，但同时，该输电方式的技术要求也比较高。鉴于此，针对柔性直流电网串联直流潮流控制器及其控制策略这一课题进行深入研究具有重要的现实意义。

微调权值采用的方法是BP反向传播误差，反向传播就是要把这个误差信息回传给每一层，让这些层修改他们的权值，使得本文的模型更精准.

由表(4)可知，重叠方式的Pooling能收敛更快，并且精度更高.但是，重叠的方式会引入噪声.就数据类型和引来的噪声，本文对Max Pooling和Average Pooling的选取方式进行了实验验证，见表5.

将数据输入到模型，本文对重叠池化和非重叠池化选择进行了实验验证，实验结果见表4.

考核还可以考虑一些其他方面，比如对参加机器人类大学生创新设计、学科竞赛等技能比赛的学生，应附加成绩以鼓励学生的创新活动，进而提高学生的创新能力。

 

表4 不同方式重叠的错误率(%)

 

Table 4 Error rates for overlapping in different ways

  

Epoch/Model12345678910重叠44333025201510666非重叠53453731282520151010

由表(5)可知，Max+Avg+Avg无论在精度和速度都远超其他组合，证明了推理的正确性.

为了防止网络陷入过拟合，提高网络结构的泛华能力，本文使用dropout方式连接map特征.对层与层连接概率p进行了实验探究，如图5所示.由图5可知，概率p=0.7时该模型的准确率最高.

 

表5 不同Pooling方式组合的错误率(%)

 

Table 5 Error rates for different pooling combinations

  

Epoch/Model12345678910Max+Avg+Avg44333025201510666Max+Max+Max47453731282520151010Max+Max+Avg42373128221816131212Avg+Avg+Avg50433530282320181616Avg+Max+Avg47403329242018161515Avg+Max+Max47423834322824201818

实验的其他参数step=1 000,期望误差e=0.002，初始学习L=1e-4,用AdamOptimizer作为优化器进行优化，使所得误差最小.

  

图5 Dropout概率PFig.5 Dropout probability P

3.3 实验结果分析

本文将KPCA-SVM[14]，Lenet-5以及改进的Lenet-5算法作对比试验，这3种算法采用相同的实验环境和训练数据以及相同的层数分别进行网络训练.采用准确率(AC)、误报率(FA) 作为衡量各个模型的性能：

由于菊芋在生物能源领域的潜在应用价值日渐凸显，现在许多农民专门开始大量种植菊芋。虽然菊芋的种植规模不断扩大，但是菊芋种植地区的害虫和疾病的预防，仍是一个严重影响其产量和效益的重要因素。

准确率

误报率

为了确保测试实验的可靠性，测试结果取5次平均值，如图6所示.从图6可得知各算法对4种攻击类型检测率的比较，改进的Lenet-5模型对DOS,Normal,Probe,U2L,R2L的检测率分别是94%,93.1%,92.6%,92.1%，从柱状图可以看出，改进的CNN算法检测率明显的高于其他2种算法.说明改进的Lenet-5模型更能精确的检测出IDS中入侵行为.

  

图6 3种算法对5种攻击类型的检测率比较Fig.6 Comparison of the detection rates of thefive attack types by the three algorithms

图7为3种算法的误报率，改进Lenet-5模型Dos,Nomal,Probe,U2L,R2L的误报率仅为0.21%,0.23%,0.45%,0.84%,0.74%.通过以上实验表明，改进Lenet-5模型用于IDS具有很好的入侵检测性能.

  

图7 3种算法对5种攻击类型的误报率比较Fig.7 Comparison of false alarm rates ofthe five attack types by the three algorithms

4 结束语

深度学习方法对于入侵检测是1种全新的机器学习方法，该方法能对高维特征向量具有很强的提取特征能力，而且具有很好的分类性能.本文将卷积神经网络用于入侵检测当中，卷积神经网络在图像方面所取得的巨大成就证明其可以出色地完成特征提取任务.通过实验可知：卷积神经网络可以用在入侵检测领域，并且具有很好地提取特征的性能.本文针对卷积神经网络结构特点所产生的问题，改进了卷积神经网络，大大提高了分类性能.

在未来工作中，对卷积神经网络增加隐含层的层数、减少训练时间，进一步提高分类精度以及提高模型泛化能力等问题，也是重要的研究课题.

参考文献：

[1] 林果园，黄 皓，张永平. 入侵检测系统研究进展[J]. 计算机科学，2008，(02)：69-74.

[2] Ali S T, Sivaraman V, Radford A, et al. A Survey of Securing Networks Using Software Defined Networking[J]. IEEE Transactions on Reliability, 2015, 64(3):1086-1097.

[3] Bengio Y.Learning deep architectures for AI [J]．Foundations and Trends in Machine Learning， 2009，2( 1) : 1-127．

[4] Xu Q,Yang L. A Supervised Local Decision Hierachical Support Vector Machine Based Anomaly Intrusion Detection Method[J]. Journal of Electronics & Information Technology, 2010, 32(10):2383-2387.

[5] 李 莎. 神经网络与模式匹配相结合的入侵检测系统的研究[D].太原理工大学，2010.

[6] 余 凯，贾 磊，陈雨强，等． 深度学习的昨天今天明天[J]．计算机研究与发展， 2013，9(50) : 1799-1804．

[7] 王声柱, 李永忠. 基于深度学习和半监督学习的入侵检测算法[J]. 信息技术, 2017,(1):101-104.

[8] 康松林,刘 乐,刘楚楚,等. 多层极限学习机在入侵检测中的应用[J]. 计算机应用, 2015, 35(9):2513-2518.

[9] 高 妮,高 岭,贺毅岳. 面向入侵检测系统的 Deep Belief Nets 模型[J]. 系统工程与电子技术, 2016, 38(9):2201-2207.

[10] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[A].International Conference on Neural Information Processing Systems[C]. USA:Curran Associates Inc, 2012:1097-1105.

[11] Lecun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip code recognition[J]. Neural Computation, 2014, 1(4):541-551.

[12] Castelluccio M, Poggi G, Sansone C, et al. Land Use Classification in Remote Sensing Images by Convolutional Neural Networks[J]. Acta Ecologica Sinica, 2015, 28(2):627-635.

[13] 顾 钧. 基于KPCA和SVM的网络入侵检测研究[J]. 计算机仿真, 2010, 27(7):105-107.

[14] Cho J, Lee C, Cho S, et al. A statistical model for network data analysis: KDD CUP 99’ data evaluation and its comparing with MIT Lincoln Laboratory network data [J]. Simulation Modelling Practice & Theory, 2010, 18(4):431-435.