基于粒子群算法与连续型深度信念网络的水泥熟料游离氧化钙预测
1 引 言
水泥熟料游离氧化钙(free calcium oxide, fCaO)是水泥熟料中以游离态存在的氧化钙,是影响水泥质量的主要因素,能够直接反映物料在回转窑的烧成状况[1]。目前,国内外关于水泥熟料fCaO含量的测量方法主要有在线分析仪测量方法和离线采样化验方法。在线分析仪测量方法可以实现对水泥熟料fCaO含量实时检测,但设备成本较大,维护费用高,并且测量的准确性容易受到现场烟尘和实际工况的影响。离线采样化验方法需每隔1~2 h现场取样离线化验得到水泥熟料fCaO的含量,由于水泥熟料烧成过程具有一定时间的延时,离线分析获得fCaO含量相对于指导烧成系统的控制具有很大的滞后性。针对水泥熟料fCaO含量无法实时准确检测的问题,众多学者采用数据建模的方法进行研究[2~8],为水泥熟料fCaO含量的预测提供了一些可行的方案。
深度信念网络(deep belief network, DBN)是由多个受限玻尔兹曼机(restricted Boltzmann machine, RBM)逐层累加而成[9]。采用贪婪无监督方式通过训练大量数据来获取关于输入数据有用的特征,以提高分类和预测的准确性,进而采用误差反传的有监督训练方式对整个网络参数进行调整,能够获得较优结果。
早在上世纪60年代末期,波罗的海沿岸国家之间就开始探索双边的海洋环保合作。芬兰和苏联在1968年就开始了在芬兰湾的环境科技合作,随后瑞典和苏联在关于波罗的海环境方面也有了类似的研究合作,而芬兰和瑞典有着长期的环境合作的传统,并于1972年签订了有关波罗的海环境的双边合作协议,这些早期合作为区域性的海洋环保合作奠定了基础。[9]真正覆盖波罗的海全海域的海洋环境保护合作以1974年的《保护波罗的海区域海洋环境公约》为标志。1973年底,丹麦、瑞典、芬兰、苏联、波兰、民主德国和联邦德国在芬兰首都赫尔辛基共同签署了《保护波罗的海区域海洋环境公约》(以下简称《1974赫尔辛基公约》)。[10]
本文提出了一种基于改进的连续型深度信念网络(continuous deep belief network,CDBN)的水泥熟料fCaO含量预测方法。首先结合水泥熟料生产工艺和灰关联理论,得出烧成系统的主要变量对水泥熟料fCaO影响的灰关联度,并建立水泥熟料fCaO预测的辅助变量集合。然后针对梯度下降算法搜索精度低、全局搜索能力差的缺点,提出采用粒子群优化(particle swarm optimization,PSO)算法[10]进行寻优,给出了PSO算法优化CDBN模型参数的步骤。最后将建立的PSO-CDBN模型应用于水泥熟料fCaO含量预测建模中,并进行仿真实验。
(3)平行四边形概念的引入、描述和应用在3个学段的教材编写,性质1和性质2的发现、证明和应用在第二和第三学段的教材编写,绝大部分随着学段升高,所体现的思维深度在“上升”.
2 水泥熟料fCaO的辅助变量选取
水泥熟料fCaO含量成分主要取决于生料的成分和烧成系统的煅烧情况,在新型干法水泥生产工艺中,生料在进入烧成系统煅烧之前,经过了成分配比、粉磨和均化,使得生料的组成和成分相对稳定,故烧成系统的情况就成为对熟料质量的主要影响因素。初步确定水泥熟料fCaO变量集合为:窑主机电流、二次风温、窑尾温度、烟室NOx、二室篦下压力、分解炉温度、窑头负压、烟室O2、烟室CO、窑转速、三次风温度、预热器出口温度。采用灰色关联度方法对初始变量集合的数据进行灰关联度计算,进而实现对初始变量集合降维,获得最终的预测模型输入辅助变量集合。
初始变量集合:
Xi={Xi(k)|k=1,2,…,N},
由于对可见层节点和隐含层节点进行概率求取时,需将结果离散为二元制,所以对Sigmoid激活函数保留,去掉将结果离散为二元制过程,添加噪声变量,实现对DBN网络连续化的转变,CDBN的隐含层节点状态和可见层节点状态分别见式(10)和式(11)。
(1)
熟料fCaO含量:
Y={Y(k)|k=1,2,…,N}
(2)
式中:Xi为辅助变量集合;Y为熟料fCaO集合;G为辅助变量的维数;N为一组辅助变量数据集的数据量。
令Δi(k)=|Y(k)-Xi(k)|,则灰关联系数可表示为:
内部资本市场是在二十世纪六十年代后出现的一个新兴的学术名词,在美国第三次并购浪潮下一批大企业、大集团横空出世,企业内部资本市场的产生就是由于这些集团是企业的出现而出现的。
(3)
式中:ρ 为分辨系数,0< ρ<1。
则初始变量的灰关联度计算表达式为:
(4)
初始辅助变量集合及其灰关联度值见表1。
采用PSO算法对CDBN模型待确定参数进行迭代寻优,避免模型参数选择的盲目性,减少其对建模精度的影响。根据式(14)、(15)和(16),可将CDBN建模过程的寻优问题表示为:
表1 水泥熟料fCaO相关辅助变量灰关联度
辅助变量灰关联度辅助变量灰关联度窑主机电流0 859窑头负压0 746二次风温0 838烟室O20 733窑尾温度0 816烟室CO0 714烟室NOx0 793窑转速0 691二室篦下压力0 786三次风温0 674分解炉温度0 775预热器出口温度0 657
设定灰关联度阈值为0.79,根据表1可获得水泥熟料fCaO预测模型的辅助变量集合为:窑主机电流、二次风温、窑尾温度、烟室NOx;预测变量为:熟料fCaO含量。
3 基于PSO的CDBN预测模型建立
由于DBN在进行特征提取时采用数据离散化方法,使得隐含层和可视层节点在采样过程中得到的是不连续的二值化形式(0或1),限制了DBN在更多工业领域的研究和应用。针对DBN处理连续数据的局限性,提出了一种连续型深度信念网,使输入样本和输出层数据不必经过复杂的编码和解码步骤,简化了DBN的训练过程,使得隐含层和可见层节点在采样过程中得到的是连续的数值,并提出粒子群算法优化CDBN的学习率,提高CDBN网络的性能。
对于二审能否撤回起诉问题的讨论首先来自对相关立法规范的寻求和解释。纵观已有的研究和讨论,就二审能否撤回起诉的规范性依据,存在的争议主要聚焦于我国《民事诉讼法》第13条、174条和《最高人民法院关于适用〈中华人民共和国民事诉讼法〉若干问题的意见》(以下简称《民诉法意见》)第191条。一方面,较多学者不同程度地将上述三条规范作为能够支持二审撤回起诉的法律依据,尤其是《民诉意见》第191条规定的二审和解撤诉成为绝大多数学者视为支持二审能够撤回起诉的规范性依据;另一方面,还存在较多声音认为上述制度规定不能够成为支持二审可以撤回起诉的规范性依据。
3.1 CDBN结构及算法
玻尔兹曼机是一种基于能量理论具有热力学能量的函数分布的概率模型。如果对玻尔兹曼机加以层内无互联的约束条件,即可得到RBM,RBM结构见图1。
针对深度神经网络传统误差梯度下降算法全局寻优能力差以及精度低的缺点,提出采用PSO算法[12]对CDBN的参数进行优化,增加了粒子发现更优解的概率,避免了算法后期陷入局部最优解,增加了搜索精度。
(5)
式中:θ=(ai,bj,wij)为RBM的参数;ai为第i个可见层节点的偏置;bj为第j个隐含层节点偏置;wij为第i个可见层节点与第j个隐含层节点权值。
图1 限制玻尔兹曼机结构图
由RBM层内有连接、层外无连接的特殊结构可知,给定某层节点状态时,另一层节点状态条件分布相互独立,见式(6)和式(7)。
此类选择题,学生除了要能清晰地解读情境信息,还要有选择特定的知识对题干信息进行分析、阐释和推理的能力,它考查的是学生的知识应用、分析能力。此类题目对学生的思维能力有一定的要求。比如第13题。
(6)
(7)
当给定可见节点状态时,此时第j个隐含层节点的激活概率为:
(8)
式中:φ(x)=1/(1+exp(-x))为Sigmoid激活函数。
求得所有的隐含层节点后,基于RBM的对称结构,即可获得可见层节点的激活概率为:
(9)
i=1,2,…,G
(10)
(11)
同时,
(12)
(13)
式中:N(0,1)代表均值为0、方差为1的高斯随机变量;λ是常量; φ(·)是渐近线为θH=1和θL=0的Sigmoid函数;α为噪声控制变量,代表对Sigmoid函数斜度的控制。
基于对比散度算法[11],将经过归一化处理的输入样本值直接作为CDBN可见层的初始状态,即可得到权重和偏置的偏导数,并求出CDBN各参数的更新准则如下:
Δwij=ηw(〈vihj〉data-〈vihj〉rec)
(14)
Δai=ηa(〈vi〉data-〈vi〉rec)
(15)
Δbj=ηb(〈hj〉data-〈hj〉rec)
(16)
式中:ηw,ηa,ηb均为学习速率;带有data下标的参量代表输入数据;带有rec下标的参量表示重构后的数据;〈~〉表示重构后模型定义的分布。
贾平凹曾说:“三大字初看透森冷,久读有暖意,悬钟馗像驱鬼,挂三大字增勇。”他认为吴三大是陕西书坛真草隶篆行五体皆能的书法大家,气势磅礴,结字独特,中锋入纸,侧锋取势,是从百姓中走出的书坛大家,雅俗共赏,是陕西书坛的领军人物,从技法上讲,他是最全面,最优秀的一位书法家。他的去世是陕西书坛的巨大损失!
3.2 粒子群算法建立
设定RBM可见层节点和隐含层节点个数分别为n和m,节点状态分别用向量v和h表示,可见层节点和隐含层节点间权值用向量w表示,故RBM作为一个系统所具备的能量定义为:
式中:ω为惯性权重;c1、c2为学习因子;d=1,2,…,D;t为当前迭代次数;r1、r2为(0,1)之间的随机数。
在PSO算法[13]中,假设搜索空间为D维,粒子个数为M,每个粒子被视为搜索空间中一点,并以一定速度飞行。xi=(xi1,xi2,…,xiD)为粒子当前位置,si=(si1,si2,…,siD)为粒子当前速度,粒子个体极值为pi=(pi1,pi2,…,piD),粒子种群的全局极值为pg=(pg1,pg2,…,pgD)。粒子的速度和位置更新公式见式(17)和式(18)。
sid(t+1)= ωsid(t)+c1r1(pid-xid(t))+
c2r2(pgd-xid(t))
(17)
xid(t+1)=xid(t)+sid(t+1)
(18)
何良诸明白,站得太近,铁锹削下别人的脑袋,当煤块扔进车里,就坏菜了。谁都看不见谁,脑袋没了,身体站着,手里举着锹,别人寻思你还在于活呢。在死黑里,容易引起残暴的联想。三个人分开,从矿车两侧和车尾,三个不同的方向,将煤一锹锹扔进车内,噗通、噗通声,分外沉闷。扔了几十锹后,年轻人直起身,喘。何良诸也喘起来,干体力活不行了。年轻人说:“难怪说矿工吃的是阳世饭,干的是阴间活。”
3.3 PSO优化CDBN参数
由表1可知:原料四钼酸铵中钼的含量为57.38%,杂质含量少,除钙离子含量达不到一级品标准外,其它杂质含量均较低;物相分析显示原料中钼酸铵主要存在的物相为(NH4)2O·4MoO3。
min(ηw,ηa,ηb)
(19)
下面结合寻优问题式(19)给出PSO算法优化CDBN参数的寻优步骤:
1) 初始化算法参数:维数D,粒子总数M,学习因子c1、c2,迭代次数最大值tmax,惯性权重最大值ωmax和最小值ωmin;
HTTP是一个客户端终端(用户)和服务器端(网站)请求和应答的标准(TCP)。通过使用Web浏览器、网络爬虫或者其他的工具,客户端发起一个HTTP请求到服务器上指定端口(默认端口为80)。该客户端被称为用户代理程序(user agent)。应答的服务器上存储着一些资源,比如HTML文件和图像。该应答服务器被称为源服务器(origin server)。在用户代理和源服务器中间可能存在多个“中间层”,比如代理、网关或者隧道(tunnel)。
2) 初始化所有粒子的位置和速度;
3) 计算每个粒子的适应度值Fit,根据式(20)确定全局极值点pg和个体极值点pi的初始值;
(20)
4) 检查是否满足结束条件:t≥tmax。如果满足则跳转到步骤8),否则运行步骤5);
如果复合材料变形,涂层纤维的连接性就会破坏并且材料中的电阻会发生变化。如果有风暴湍流导致此类复合材料制成的飞机机翼发生弯曲,电子讯号就会警告飞机上的计算机机翼已承受了过大压力,并且提示需要进行检查。
6) 计算各个变量每一个可行解的适应度值Fit并根据以下规则更新粒子全局极值点pg和个体极值点pi:若Fit(xi)<Fit(pi),则pi=xi,否则pi不变;若Fit(pi)<Fit(pg),则pg=pi,否则pg不变。
(21)
5) 由式(21)计算惯性权重,根据公式(17)、式(18)来更新粒子的速度和位置;
三角函数是高中数学中的重点学习内容之一,同时在高考中也占据着一定的比重,因此学好三角函数相关内容是高中生的基础学习任务之一,但是大部分高中生在三角函数解题过程中经常会出现各种失误,从而导致失分的问题,本文就此入手对三角函数相关错误解题成因进行了系统的研究。
7) 更新迭代次数,跳转到步骤4)。
8) 输出全局最优位置pg。pg为CDBN网络待寻优参数ηw,ηa,ηb组成的向量。
9) 采用已优化的参数ηw,ηa,ηb,建立PSO-CDBN模型,算法结束。
y(默认补偿)=-4.859+3.224x1-2.633x2+2.018x3+2.723z1-0.982z2+0.375z3+
作为一种新兴的产业,中国的物业管理从产生至今,一直将自己摆在“房地产开发商从属部门”的配角地位,鄂州物业管理的地位也不例外,把发展方向定位于一些简单的、具体的服务形式,并没有认识到物业管理企业的服务主要应集中于对公共事务的协调和处理上,从而导致了该行业的被动局面。
4 仿真研究
从某水泥厂生产线DCS系统和化验室历史记录中共获得样本数据500组,随机选取400组数据作为训练数据,剩余的100组数据作测试数据。为了验证本文提出的PSO-CDBN算法的有效性,采用LSSVM(最小二乘支持向量机)、BP(反向传播算法)网络、CDBN网络作为对比算法,分别建立水泥熟料fCaO预测模型。PSO算法中维数D=3,粒子总数为M=20,学习因子c1=c2=2,惯性权重ωmax=1.0,ωmin=0.1,最大迭代次数tmax=100。PSO-CDBN的模型参数采用PSO算法在式(19)的约束范围内寻优,获得的PSO-CDBN水泥熟料fCaO预测模型参数见表2。
表2 PSO-CDBN方法建立的水泥熟料fCaO模型参数
模型ηwηaηbPSO⁃CDBN0 890 760 58
仿真实验所用的4种建模方法预测熟料fCaO含量仿真结果对比见图2~图5。
图2 LSSVM预测输出图
图3 BP网络预测输出图
图4 CDBN网络预测输出图
图5 PSO-CDBN网络预测输出图
为进一步比较本仿真实验所使用的4种方法建立的模型质量,采用可表示模型质量指标的最大绝对误差MAXE、平均绝对百分比误差MAPE和均方误差MSE作为衡量预测模型的效果的指标,其中,MAXE、MAPE和MSE的计算表达式分别为:
(22)
(23)
(24)
式中:N为样本数量;yi和分别为水泥熟料fCaO含量实际值和预测值。
LSSVM、BP网络、CDBN网络以及PSO-CDBN建模方法的性能统计见表3。
表3 4种建模方法性能统计表
模型MAXEMAPEMSELSSVM0 5690 2160 128BP0 3490 1550 096CDBN0 1270 1080 045PSO⁃CDBN0 0960 0790 035
由图2~图5所示的水泥熟料fCaO预测结果可知,相比于LSSVM、BP神经网络算法以及CDBN网络,利用PSO-CDBN算法得到的水泥熟料fCaO含量预测值能够更加准确地逼近目标值,具有更好的预测效果。由表3可得,基于PSO-CDBN算法建立的fCaO预测模型在MSE、MAPE和MAXE这3方面误差较其它3种算法更小,证明基于PSO-CDBN算法建立的模型精度更高、泛化能力更强。
5 结 语
本文提出了一种基于PSO-CDBN建模的水泥熟料fCaO预测方法。结合水泥熟料生产工艺和灰关联分析方法,给出了水泥熟料fCaO预测的辅助变量集合,推导了PSO-CDBN建模算法,应用实际数据进行训练和验证。仿真实验分析结果表明,基于PSO-CDBN的水泥熟料fCaO的预测方法预测模型精度高、泛化能力强。准确地预测熟料fCaO含量值不仅可以使操作人员根据fCaO值调整生产参数,为水泥生产提供指导,也为后续水泥生产过程优化操作以及智能控制提供了先决条件,对于解决水泥烧成系统操作滞后问题,实现水泥行业节能降耗具有重要的指导意义。
[参考文献]
[1] Nawaz A, Julnipitawong P, Krammart P, et al. Effect and limitation of free lime content in cement-fly ash mixtures [J]. Construction and Building Materials, 2016, 102: 515-530.
[2] 王卓,苑明哲,王宏,等. 水泥熟料质量指标的软测量建模研究[J]. 化工自动化及仪表,2006,33(6):53-54.
[3] 刘文光,王孝红,于宏亮,等. 基于LS-SVM的水泥熟料煅烧过程fCaO软测量研究[J]. 控制工程,2008,15(S2):85-88.
[4] 王秀莲,孙旭晨,王卓,等. 基于局部PSO-LSSVM的水泥f-CaO测量方法研究[J]. 控制工程,2014,21(6):807-811.
[5] 赵朋程,刘彬,孙超,等. 基于IQPSO优化ELM的熟料质量指标软测量研究[J]. 仪器仪表学报,2016,37(10):2243-2250.
[6] 蒋妍妍,李洪林. 基于改进粒子群优化LSSVM的水泥熟料fCaO软测量[J]. 现代化工,2014,34(6):152-155.
[7] Li W T, Wang D H, Zhou X J, et al. An improved multi-source based soft sensor for measuring cement free lime content[J]. Information Sciences, 2015, 323(C): 94-105.
[8] Yuan J L, Tao H Z. Prediction of Free Lime Content in Cement Clinker Based on RBF Neural Network[J]. Journal of Wuhan University of Technology (Materials Science Edition), 2012, 27(1): 187-190.
[9] HintonG E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.
[10] 杨景明,陈伟明,车海军,等. 基于粒子群算法优化支持向量机的铝热连轧机轧制力预报[J]. 计量学报,2016,37(1):71-74.
[11] Hinton G E. Training products of experts by minimizing contrastive divergence[J].Neural Computation, 2002, 14(8): 1771-1800.
[12] 陆艺,张培培,王学影,等. 基于PSO-BP神经网络的关节臂式坐标测量机长度误差补偿[J]. 计量学报,2017,38(3):271-275.
[13] 杨慎涛,刘文波. 基于粒子群的神经网络测试生成算法[J]. 计量学报,2015,36(2):197-201.