更全的杂志信息网

基于深度自编码器的WSN数据融合算法

更新时间:2009-03-28

0 引 言

鉴于无线传感器网络和神经网络结构的相似性,近年来各种神经网络模型被广泛应用于WSN的特征提取[1]。文献[2]提出将神经网络层次结构应用到无线传感器网络分簇结构中,通过神经网络提取原始数据的特征表示,提高了数据融合效率。文献[3]提出了一种神经网络动态成簇法,构造多层神经网络并在各层进行分簇,通过簇首节点传递数据,从而减少了能耗消耗。文献[4]提出了基于SOFM神经网络的数据融合算法(SOFMDA),将自组织映射神经网络和无线传感器网络分簇路由协议相结合,通过对原始数据分类,提取特征数据,有效减少数据传输量。文献[5]提出了一种将深度学习模型与分簇协议相结合的算法SAESMDA,取代传统的BP神经网络,结果表明在网络能耗大致相同的情况下具有更高的特征提取分类正确率。

近年来深度学习模型被广泛用于提取数据的特征表示,降低数据维度[6]。本文基于深度学习技术,提出了一种将深度自编码器(DESAE)与无线传感器网络路由协议相结合的数据融合算法(DESAEDA)。相比浅层网络模型容易陷入局部极值从而影响分类效果,该算法能够有效提高特征分类提取的正确率。

1 深度自编码器模型

1.1 自编码器

自编码器[7]采用无监督的训练方法,尝试逼近一个恒等函数,从而使网络输出值等于或尽可能接近于网络输入值,比较准确地还原出输入值的特征。自编码器通过训练寻求一组网络参数(W,b)来最小化损失函数,其损失函数表达式为

(1)

其中,λ为权重衰减参数。

有了损失函数表达式后,下一步需要计算出损失函数的偏导数,这里采用反向传播算法求偏导。反向传播算法的思路如下:

(1)进行前馈传导计算,利用传导公式,得到L2L3…直到输出层Lnl的激活值。

(2)对于第nl层的每个输出单元i,根据以下公式计算残差

y-hW,b(x)∥=

(2)

(3)对nl-1,nl-2,…,2的各个层,其第i个节点的残差计算方法如下

 

(3)

(4)计算所需偏导数,方法如下

 

(4)

 

(5)

有了损失函数和偏导数后,就可以运用梯度下降法的迭代步骤减少损失函数J(W,b)的值,进而求出网络参数。利用以下公式更新权重参数

 

(6)

 

(7)

1.2 逐层贪婪训练

多层自编码器采用无监督方式训练[9],得到一组权值参数(W,b)。将深度自编码器与无线传感器网络进行结合,重点关心的是特征提取分类的能力,因此在深度自编码器(SAE)的后面加一个Softmax分类器。已知标注数据集{(x1(1),y(1)),(x1(2),y(2))…(x1(m),y(m))}, 利用训练好的参数得到比原始数据更好的特征描述来代替原始数据 训练集变为 利用新的训练集有监督的训练Softmax分类器并获得其参数(W,θ)。最终的特征分类提取模型如图1所示。

1.3 特征提取分类模型

单层自编码器(AE)是一个比较浅的网络,在特征提取方面能力有限。本文是在深层网络的基础上将自编码器与无线传感器进行融合,深层网络能够计算更复杂的特征,比浅层网络具有更优异的表达能力。但由于传统训练深层网络存在数据获取困难、局部极值、梯度弥散等的问题,因此本文采用逐层贪婪的方法训练多层自编码器。逐层贪婪训练[8]的思想是每次只训练网络中的一层,仅当一层网络训练完毕后,利用训练得到的权值计算出第二层网络的输入,训练第二个隐藏层网络,以此类推。最终,将这些单独训练出的权值作为初始权重,对整个网络进行微调,修正网络的权值参数。

  

图1 特征提取分类模型

该模型的参数通过以下步骤训练获得:

数据行SPSS17.0处理,计量用均数(Mean Value)加减标准差(Standard Deviation)(±s)表示,t值检验,计数用(%)表示,行卡方检验,当P值小于0.05时,数据对比差异存在统计学意义。

(2)利用无标签数据集训练网络第一层,得到其参数(W(1,1),W(1,2)…,b(1,1),b(1,2)…);

(3)利用上层网络训练的权值计算下一层网络的输入,训练得到网络参数(W(k,1),W(k,2)…,b(k,1),b(k,2)…);

(4)如果k<n-1,执行(3),否则,执行(4);

教学中突出新旧知识之间的联系,建立用原有知识推动新知识的学习策略,然后运用“独立思考——相互交流——归纳总结”的学习方式,把学生引到学习的主体地位,使学生参与学习的全过程,帮助学生获得成功体验。

(5)多层自编码器训练完成,得到最后一层网络参数(W(n-1,1),W(n-1,2)…,b(n-1,1),b(n-1,2)…);

(1)首先构建一个n层的特征分类提取模型,权值初始化;

(6)利用上述训练得到的参数计算有标签数据集的激活值,作为Softmax分类器的特征输入,获得其参数(W,θ);

(7)最后,将以上两部分得到的参数作为整体初始值,通过反向传播算法有监督的微调整个网络。

2 DESAEDA算法

2.1 路由分簇协议

由于传统模型在传输数据传输过程中存在大量的能量消耗,自从LEACH协议提出后,大量基于LEACH模型的改进算法相继被提出,以节点移动性、簇的数量、簇的大小和算法复杂度对过去提出的方法进行了比较,每种方法都有其优缺点[10]。本文主要研究深度自编码器算法对无线传感器网络数据融合的影响,对分簇协议的选择没有具体的要求,因此本文所提出的模型仅与LEACH分簇协议进行结合,每个节点成为簇头的概率满足公平性原则。

2.2 深度自编码器的训练和数据融合

2.2.1 面临的困难和解决方法

“离用户越近,价值就越大。”快递末端集约化、智能化处理,绝对不是末端配送商业模式的全部,它只是基石,是这个商业模式赖以存活的基础。在智能快递柜已经成为社区公共服务设施的当下,它已经不再仅仅是收快递的“小方格”,其延伸价值目前已经渗透在生活的方方面面,也成为了社区经济争抢的关键节点。

深度自编码器算法在无线传感器网络中运行时需要权值参数,当整个无线网络运行分簇协议,形成稳定的分簇结构后,需要对该深层网络进行训练,获得这些网络参数。通常,在部署完成网络后,神经网络可以通过网络自身学习、训练、调整这些参数,但由于无线传感器网络处理能力和存储空间有限,并且在节点内部训练网络将导致大量的能量损耗,因此在传感器网络节点内部完成对深度自编码器的训练是不切实际的。汇聚节点由于能量充足,因此可以用来完成对深度自编码器的训练,然后将训练好的参数传递给对应的传感器节点。

众所周知,厕纸粘染物与实际排放物相比微乎其微,可忽略不计,厕纸入厕的主要污染物为纸张与水接触后产生的可溶物及碎屑,可用COD、SS、氨氮、BOD5等污染指标表示.实验室模拟厕纸入水后的变化,测定不同品质的厕纸溶于水后,在不同时间水体中的COD、SS、氨氮、BOD5的浓度值,计算单位厕纸的污染物量,进而推算家庭以至全国的污染物排放总量.通过计算厕纸进入下水道对污水处理厂的污染物贡献占比及可生化性评价指标(B/C)值(BOD5/COD),评价厕纸入水后的可生化性,进而评价其对城市污水处理厂的影响.

2.2.2 网络训练及数据融合

由于深度自编码器模型和无线传感器网络分簇模型具有相似的结构,因此可以将两者有机地结合起来,首先在汇聚节点完成对深度自编码器的训练,训练算法如下:

步骤1 汇聚节点利用样本库中的数据作为原始输入数据;

步骤2 构造深度自编码器网络,将原始数据作为初始输入数据,依次训练网络权值;

步骤1 无线传感器网络运行分簇协议,产生簇首节点和成员节点;

罪犯改造作为监狱工作的一个重要部分,要永褒生机和活力,必须与时俱进、不断创新。罪犯改造的内容是一个既相对稳定又不断发展的体系。内容创新必须紧紧围绕国际形势和国内改革发展稳定的大局。当前,要加强党的十九大和十九届二中、三中全会以及全国“两会”精神等密切联系社会主义现代化建设和人民群众生活实际的最新内容的教育。同时,先进的载体是新时期罪犯改造创新的基础。探索和运用改造新载体,关键是要找到罪犯改造与服刑生活的良好结合点,最大程度地吸引服刑罪犯参与,注意运用现代化科技手段,有效增强改造的吸引力和凝聚力。

步骤3 利用贪婪算法训练的权值获到Softmax分类器的输入,利用标签样本有监督的训练分类器;

步骤5 网络节点完成一轮数据采集、融合和传输后,重新运行分簇协议产生新的簇首和成员节点并转到步骤2。

步骤4 将之前得到的权值组合作为初始权值,对整体网络微调;

步骤5 利用标签样本对网络进行测试,分类正确率达到预定标准,执行步骤6;否则,重新调整参数后,执行步骤2;

曾真回头等待着张仲平,见他哇哩哇啦地说了一大串,不禁有些好笑,难怪刚才一个破电话打了那么长时间。她没好气地说:“你才孙悟空哩,你们全家都是孙悟空。”

c代表计算单元完成计算任务消耗的指令数;

训练完成获得网络参数后,将深度自编码器模型分层并将其部署到无线传感器网络的对应层中,该方案的深度自编码器模型包括两部分:特征提取(AE)和特征分类模块(SF),在运行无线传感器网络路由分簇协议后,本文设计了两种数据融合模型。

模型Ⅰ:将特征提取层放在成员节点中,分类层放在簇首节点,簇首节点负责分类及数据融合,网络模型(DESAEDA1)如图2所示。

一年好景君须记,正是橙黄橘绿时。苏轼一千年之前的这句咏冬的诗,在如今的红江农场最是应景。走进橙园,抬眼望去,片片橙林挂上粒粒硕果,垂枝压叶,一派动人景象。这里是正宗红江橙的唯一产地。

  

图2 DESAEDA1模型

模型Ⅱ:将特征提取层和分类层放在成员节点中,簇首节点负责处理各成员节点发送来的数据。网络模型(DESAEDA2)如图3所示。

  

图3 DESAEDA2模型

数据融合算法(DESAEDA)如下:

北京市的城市中水回用取得了丰厚的成果,国内其他省市也开展了中水回用系统的建设,其中天津、青岛、大连等沿海城市,陆续打造了符合城市发展特点和城市地理环境的中水回用建设方案。以青岛市为例,青岛市于2001年开始便依托海泊河污水厂开展了中水回用试点工程,市内中水资源供应量达原供应量四倍,(何为原供应量的4倍?)并广泛应用于景观、绿化、洗车、冲厕等领域。

步骤2 簇首节点负责将分簇信息传递给汇聚节点,汇聚节点根据分簇情况将训练好的参数传递给对应节点;

步骤3 分簇稳定后,特征提取层提取数据特征传递给Softmax分类器;

结合表3不同植被恢复模式AWCD的方差分析表明,刺槐+山杏+紫花苜蓿(0.94±0.44)和油松+旱柳+红豆草混交林(0.65±0.38)土壤微生物利用碳源的量显著高于自然恢复(P<0.01),而青海云杉+油松+河北杨和刺槐+油松混交模式下土壤微生物利用碳源的量显著低于自然恢复(P<0.01),即刺槐+山杏+紫花苜蓿混交林土壤微生物代谢活性最强,而刺槐+油松(0.45±0.32)和青海云杉+油松+河北杨混交林(0.26±0.18)相对于自然恢复土壤微生物代谢活性相对较弱。

步骤4 簇首节点把接收到数据融合,最终将融合分类后的数据特征传递给汇聚节点;

(二)没有结合学生个体差异展开教学。作为一个衔接阶段,初中的数学不仅起到了一个承上启下的作用、同时在实际的教学中每一名学生对于数学知识点的理解也并不相同。例如同样一个“概率”问题,对于一部分数学综合素质较强的孩子而言,在学习的过程中他们会在将相关的概率概念、统计方式运用的如鱼得水,而对于一些数学基础较差的学困生而言则是无法在原有知识基础上进行延伸与升华,如果教师只是一味的照顾学困生而降低教学内容的难度那么将会导致学优生“吃不饱”。而一旦教师只是一味的照顾学优生而提升整个课堂的教学难度那么也非常容易让学困生感觉到“吃不下”。

五是加大投入力度,多措并举做好抗旱工作。国家防总及时会商研判抗旱形势,适时启动应急响应,强化重要骨干工程的科学调度,并派出工作组和专家组深入重旱地区了解旱情、协助开展抗旱工作,及时调拨抗旱物资,会同财政部下达7.84亿元专项经费,用于392个县级抗旱服务组织设备的购置,目前全国2 144支县级抗旱服务队设备购置工作基本完成,并在抗御高温伏旱中发挥了重要作用。

相比传统的浅层神经网络模型,该深层网络模型能够表示出更复杂的数据特征,提高特征分类提取的正确率,从而减少了数据的传输量,降低了能量消耗,延长了网络生命周期。

2.2.3 可行性分析—评价指标

深度自编码器模型采用的激发函数是Sigmoid函数,在ARM9中执行一条复杂指令需要7个执行周期,而执行一条Sigmoid函数相当于额外执行了4条复杂指令。假如SAE输入位大小为41个字节,经过特征提取后的输出为b0字节,则AE执行41*b0*40条指令,Softmax分类器执行5*b0*40条指令。已知传递1 byte数据100 m消耗的能量相当于执行3000条指令[11],因此该算法实施的前提就是计算单元计算消耗的能量小于传递这些数据消耗的能量(忽略干扰和衰减消耗的能量)

cEi≤(bi-b0)Et

(8)

步骤6 汇聚节点将训练好的深度自编码器网络参数发送到对应节点。

Ei表示执行每条指令消耗的能量;

十八大以来,实施“四个全面”战略布局,推行新发展理念,拓展了中国特色社会主义道路内涵,必将推动中国特色社会主义事业健康向前,促成两个一百年的奋斗目标顺利实现。这表明以习近平同志为核心的党中央对建设中国特色社会主义方略的把握,对共产党执政规律的探索,达到了新的境界。

Et表示每传输1 byte到目标节点消耗的能量;

bi代表计算单元的输入字节数;

b0代表输出字节数。

3 算法仿真与结果分析

本文通过MATLAB仿真平台对DESAEDA算法进行仿真测试,为了更好展示网络性能,对DESAEDA算法和LEACH算法进行仿真对比,通过比较节点的存活数目和不同规模下节点的平均剩余能量这两个指标来比较算法性能。

3.1 数据预处理

本文选用的数据集是美国国防部对网络入侵检测的KDD99数据集,首先对数据集进行预处理,KDD99数据集中的每个网络连接主要由41种特征来描述,这41个指标类型包括连续类型和离散类型,连续类型可以直接输入到模型中;离散类型取值需要将这些值数字化,转化的方法就是为每个指标分配一个序号,这步操作本文是在excel中进行的。另外由于特征指标的数据单位不一致,各种特征数据之间差距较大,不利于进行归一化处理,因此对数据进行了聚拢操作,之后再对数据进行归一化处理。

他先喝了一口,立即脸色彤红,皮肉抽搐着,终于咽下了,嘴便张开往外哈着气。那不能喝酒却硬要喝的表情,使我手颤着接不住他递过来的酒瓶,眼泪唰唰地流下来了。

3.2 仿真结果

这里用30万的无标签样本完成对特征提取层的无监督训练,用50万的标记样本完成对分类器的训练以及整体网络的微调,另用30万样本测试网络性能。网络测试结果见表1。

由网络测试结果知,本文设计的深度自编码器模型能够能到较高的分类准确率。实验中既要考虑深层自编码器特征提取的准确率,又要考虑无线传感器网络的能耗,因此需要权衡好特征提取的正确率和能耗之间的关系,比较上表结果,选择3层隐藏层网络模型与LEACH协议进行结合。本文研究的主要目标是通过数据融合,减少数据传递所消耗的能量,由于数据传递所消耗的能量远高于计算消耗的能量,因此本文研究的算法对于远距离通信有较好的效果。实验中将不同规模的传感器节点部署在1000*1000的感测范围内,路由协议采用的是经典的LEACH协议。

 

1 深度自编码器网络测试准确率

  

层数微调前准确率/%微调后准确率/%289.7891.25390.7592.95489.1191.98582.7591.86673.6692.05774.5792.27885.3291.55

图4反映了DESAEDA算法和LEACH算法节点存活数目的对比情况。由图可知:LEACH算法和DESAEDA算法分别在第190轮和570轮开始出现节点死亡,2100轮和2600轮左右节点死亡完毕;模型Ⅰ和模型Ⅱ在网络性能上差别不大。因此DESAEDA算法能够有效减少数据传输量,降低能量消耗,延长网络生命周期。

  

图4 节点存活数目对比

  

图5 不同规模下节点平均剩余能量对比

图5反映了不同网络规模下,节点平均剩余能量对比结果。通过对结果进行分析,可以得出DESAEDA数据融合算法能够有效减少网络的能量消耗,并且随着网络规模的增加,节点的平均能耗越来越少。因此,本文设计的算法适用于处理在已知大数据集的前提下,对较远距离的大规模网络进行数据融合。

4 结束语

不同的数据集将对模型的创建产生不同影响,由于本文采用的数据集输入维数只有41维,并且比较稀疏,因此三层的网络就能够很好地提取数据特征,对于高维数据,可以通过不断增加隐藏层数来达到较好的特征提取效果。将深度自编码器模型应用于无线传感器网络,在延长网络生命周期的同时,仍然面临着很多困难和挑战。为达到较好的特征提取效果,传感器节点需要对采集到的数据进行预处理,因此需要相应的硬件支持,以增强传感器节点处理模块的计算能力。

参考文献

[1]KANG Jian,ZUO Xianzhang,TANG Liwei,et al.Data aggregation technology in wireless sensor network[J].Computer Science,2010,37(4):31-35(in Chinese).[康健,左宪章,唐力伟,等.无线传感器网络数据融合技术[J].计算机科学,2010,37(4):31-35.]

[2]KONG Yujing,HOU Xin,HUA Ertian,et al.Study on routing protocol of wireless sensor networks based on BP neural network[J].Chinese Journal of Sensor and Actuators,2013,26(2):246-251(in Chinese).[孔玉静,侯鑫,华尔天,等.基于BP神经网络的无线传感器网络路由协议的研究[J].传感技术学报,2013,26(2):246-251.]

[3]Elby K Eldhose,Jisha G.Active cluster node aggregation scheme in wireless sensor network using neural network[C]//Procedia Technology,2016:1603-1608.

[4]YANG Yongjian,LIU Shuai.Data fusion algorithm for wireless sensor networks based on SOFM neural network[J].Chinese Journal of Sensor and Actuators,2013,26(12):1757-1763(in Chinese).[杨永健,刘帅.基于SOFM神经网络的无线传感器网络数据融合算法[J].传感技术学报,2013,26(12):1757-1763.]

[5]QIU Lida,LIU Tianjian,FU Ping.Data aggregation in wireless sensor networks based on deep learning[J].Application Research of Computers,2016,33(1):185-188(in Chinese).[邱立达,刘天键,傅平.基于深度学习的无线传感器网络数据融合[J].计算机应用研究,2016,33(1):185-188.]

[6]Arel I,Rose DC,Karnowski TP.Deep machine learning-anew frontier in artificial intelligence research[J].IEEE Computational Intelligence Magazine,2010,5(4):13-18.

[7]LU Yaping.Research on deep networks-oriented auto-encoders[D].Suzhou:Suzhou University,2016:14-17(in Chinese).[鲁亚平.面向深度网络的自编码器研究[D].苏州:苏州大学,2016:14-17.]

[8]Andrew Ng,Jiquan Ngiam.Deep learning[EB/OL].[2013-04-08].http://deeplearning.stanford.edu/wiki/index.php.

[9]Quoc V Le,Ranzato MA,Monga R,et al.Building high-le-vel features using large scale unsupervised learning[C]//Proceedings of the 29th International Conference on Machine Lear-ning.UK,2012.

[10]Afsar MM,Tayarani-N MH.Clustering in sensor networks:A literature survey[J].Journal of Network and Computer Applications,2014,46:198-226.

[11]Rex Min,Bhardwaj M,Cho S,et al.Energy-centric enabling technologies for wireless sensor networks[J].IEEE Wireless Communications,2002,9(4):28-39.

 
潘琢金,秦蓓,罗振,杨华
《计算机工程与设计》2018年第05期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号