0 引言

随机汇池网络模型[1]起源于生物感知神经元群体的信号处理研究，也可以看成一种具有多个节点的并联传感器网络，每个节点对相同的输入信号做压缩和添加噪声的处理，再将处理结果汇集至一个物理通道，汇集的过程称为池化，其显著特征是非线性激活函数、随机噪声和冗余的信息相互作用，涌现出超阈值随机共振、分叉[27]等非线性现象。随机汇池网络在纳米电子[8]、数模转换器设计[23]、生物传感中并行神经元和受体细胞感知[4]等方面都得到了十分广泛的应用。

目前随机汇池网络的研究[915]都局限于平稳的输入信号情况，而在实际应用中，输入信号的统计特征通常是未知的且是随时间改变的，那么采用一种有序的搜索过程，在一类允许的可能范围内不断地寻找最佳权值的自适应随机汇池网络比固定设计的网络能够给出更加适应变化的信号环境。自适应过程是一个不断逼近性能最优目标的过程，权值收敛大多采用基于梯度的算法，称为自适应算法。其中，最小均方算法(LMS) [1617]是基于维纳滤波理论，然后借助于最速下降算法发展起来的，具有计算复杂程度低、在信号为平稳信号的环境中的收敛性好、其期望值无偏地收敛到维纳解和利用有限精度实现算法时的稳定性较好等特性，在很多领域都有广泛的应用。Kalman算法[18]是维纳滤波器的推广，适合非平稳信号和噪声的情况，Mandic等人[19]将LMS算法和Kalman算法巧妙的结合起来，构建了一种Kalman-LMS算法，此算法不仅能够控制梯度下降的幅值还能控制其方向，每一步迭代都使得权均方偏差最小。为了探究非平稳信号下自适应加权随机汇池网络[20]模型(见图1)的性能，本文以均方误差作为评价指标，推导了随机汇池网络的LMS算法和Kalman-LMS算法递归表达式，其迭代过程中的信息传递如图2所示。在信号方差发生改变的非稳态情况下，两种自适应算法都能够收敛到权最优解，在保证解稳定性(权值波动较小)的前提下，Kalman-LMS算法具有更快的收敛速度，且均方误差也有所优化，这体现在网络节点的个数较少时，Kalman-LMS算法能够获得更小的均方误差，而随着网络节点的个数增加，两种自适应算法得到的均方误差趋于一致，同时两种算法的均方误差都存在超阈值随机共振现象。这些研究结果对于随机汇池网络在实际的非线性信号处理中的应用具有非常重要的指导意义。

图1 自适应加权随机汇池网络模型

Fig.1 Adaptive weighted stochastic pooling network model

图2 两种自适应算法迭代过程中信息的交换

Fig.2 Information exchange of the iterative process

1 模型与自适应算法

1.1 模型

如图1所示，考虑k时刻输入信号xk，在M路独立同分布噪声ηi,k(i=1,2,…,M)污染后，经过M个系统函数gi(·)处理得到输出yi,k=g[(xk+ηi,k)]，噪声与输入信号xk相互独立。各子系统输出yi,k与自适应权系数wi,k相乘，最后进行池化(加和)得到网络输出来表示权系数，w0,k表示偏置系数，系统函数的输出向量yk=[y1,k,y2,k,…,yM,k]T。

关于此网络的理论分析在文献[21]中已给出，本文直接列出结果：由于是无偏估计，因此网络的输出误差为这里均方误差表示为在稳态输入信号xk和M个节点的条件下得到最优权系数和最小均方误差分别为和其中Cyy为系统函数输出向量yk的协方差矩阵，Pxy为xk与yk的互协方差向量，为xk的方差。

1.2 自适应LMS算法

经典的最速下降法自适应过程中，设每一步权值向量的更新为

wk+1=wk-μJ(wk)

(1)

1)最优学习增益。由于权误差协方差矩阵Pk为半正定矩阵，为了防止gk出现分母为零而产生错误停止的情况，改进为

(2)

这里注意和中的期望值E[yk]和E[xk]无法用瞬时值代替，实际中可以估算因此LMS算法为

(3)

对式(3)两边求期望，得到

(4)

利用以及对式(12)两边求迹可以得到

(5)

由于Cyy为实对称方阵，那么进行特征分解为Cyy=QΛQ-1，其中Λ为Cyy的特征值λi(i=1,2,…,M)组成的实对角阵，Q为对应的特征矩阵，设式(5)两边同时乘以Q-1，得到

(6)

其中，为初始权向量，当K无限增大，仅当式(6)右端收敛于零向量时，左端权向量的期望值才收敛于最佳权向量。由于(I-2μΛ)是对角阵，收敛最慢的是1-2μλmax且满足|1-2μλmax|<1，同时注意到λmax不可能大于Cyy的迹，则一般设收敛步长μ满足则LMS算法稳定且收敛。

1.3 自适应Kalman-LMS算法

LMS算法只是注意到了权向量更新的方向，没有控制每一步权均方偏差值的大小，注意到输出误差又可以写为

自从那次跟同学闹事送医院以后，班里同学都用一种奇怪的眼神看他，甚至躲得远远的，曾经在他身边前呼后拥的那些小伙伴们也都疏远了他，简单地说就是大家都怕他。

(7)

均方误差可以重新表示为

首先，日常口语交际和表达训练不足。俗话说：台上一分钟，台下十年功。学生口语交际和表达能力的提升，不是一蹴而就的，也不是与生俱来的，而是需要后天的培养和训练。而农村小学语文的教学，由于教师对学生口语交际和表达能力的训练不足，如普通话训练缺失、日常的口语训练缺失等，严重影响了学生语言交际和表达能力的提升。其次，农村孩子长期生活在大山之中，相对于城市的孩子而言会“怯”许多，因此，在公众场合，学生不愿表达思想，也不敢表达思想，源于学生自身的因素，即自信心不足，怕出丑，怕被嘲笑。而这样的心理因素，会成为学生口语交际和表达过程中一直存在的问题，最终影响了学生语言综合素质的提升。

(8)

其中，两边同时减去wo可以得到[17]

(9)

根据《数据结构》课程特点，依托移动网络教学平台，利用翻转课堂这一教育创新理念对课程教学模式进行改革以弥补传统教学模式的不足就成为我们关注的课题。

将200～300 mg的淀粉样品置于一个直径为4 mm的旋转圆筒中。扫描次数为3000，循环间隔时间为2 s。利用Tan[9]等人的方法对所得到的光谱扣除无定型，得到有序结构部分的光谱，最后对螺旋含量进行计算。

(10)

其中，权误差协方差矩阵，我们希望每一步的均方误差Jk达到最小，等价于使式(9)权均方偏差达到最小

(11)

那么权误差协方差矩阵

(12)

式(4)两边同时减去wo，设同时注意到最佳权向量满足Cyywo=Pxy，那么得到

(13)

3)权误差协方差矩阵

最速下降法每一次迭代形式都遵循局部最优路径，但没有遵循全局最优路径的解决方案。这里我们借鉴Kalman滤波，将标量步长2μk换成学习增益矩阵Gk[20]，这样能够既控制梯度下降的幅值还能控制其方向。因此权递推公式(2)另写为

(14)

把式(14)带入式(12)可以得到权误差协方差矩阵迭代公式：

(15)

上述Kalman-LMS算法总结如下：在当前时间k，给定观测量{yk,xk}，计算

其中，μ为调整步长的常数，它控制着算法的自适应速度和稳定性，J(wk) 为均方误差的梯度。LMS算法利用瞬时误差的平方作为J(wk)的估计，均方误差的梯度为式(1)可以写成

根据《BP世界能源统计2016》，2016年煤炭在中国能源结构中的占比为62%，其中火力发电在煤炭消费中占很大比重。为了提高火力发电的能源利用效率，烟气余热回收技术普遍利用，低温腐蚀问题也随之产生。

其中，正则参数δ为一个大于零的很小的任意常数；

2)权向量

为使得每一步的Dk最小，求偏导∂Dk/∂gk并令其等于零可得[17]

2 实验结果

为了具体地比较上述两种自适应算法，实验中选取输入信号xk服从零均值高斯分布，网络噪声ηi选用均值为零的高斯白噪声，节点的系统函数选取

并考虑异质的系统节点函数[23]，平均分为两组分别具有阈值θ=0和θ=0.5，每组的节点数目为M/2，这里注意的是上述分组方式可以是任意的。

3)义棠矿F7断层东北侧的灰岩分形维数值比西南侧高，更接近于3，非均质性更强，发育导水断层的煤系灰岩区，分形维数会随着地下水的流向而增大。

给定噪声ηi的强度，例如标准差ση=0.2，系统节点数目M=10，设输入信号标准差σx在n/2处发生改变，由0.5突变为1.0。图3a画出了第一个节点(w1k)和第6个节点(w6k)权值收敛过程，其中红色实线表示LMS算法，蓝色虚线表示Kalman-LMS算法，可以明显地看出两种算法都能够有效地对信号变化进行跟踪，权值随着输入信号的改变而变化，并逐渐收敛到新的稳定值。对比这两种算法，还可以看出Kalman-LMS算法比LMS算法权值收敛速度更快，跟踪信号的能力更强，且更加稳健。在加大学习率μ之后如图3b所示，LMS算法收敛速度虽然接近了Kalman-LMS算法，但是此时LMS算法解的稳定性已经变得极差，权的波动幅度较大。另外要说明的是，在LMS算法中学习率μ用来控制算法的收敛速度，可以保证算法收敛，在Kalman-LMS算法中δ是为了防止计算过程中出现分母为0的情况而设置的一个正则参数，这个参数是一个很小的数字(本次实验为10-5)，否则会导致算法失效而无法迭代[20]。

其中λ值越大表示投资者对风险关注度越高且不愿承担高风险，属于风险厌恶者，反之为风险喜好者，xi表示第i证券的投资比例，ξi表示第i证券的模糊收益率，E（*）表示模糊变量的期望值算子，V（*）表示方差值算子，β为投资者能承受的信息熵值，A表示投资者控制单个资产投资比例的下限，B表示投资者控制单个资产投资比例的上限。

图3 LMS算法和Kalman-LMS算法权值w收敛过程

Fig.3 Convergence process of the weights w for LMS and Kalman-LMS algorithms

图4 不同内部噪声强度下均方误差变化情况

Fig.4 Mean square error versus the internal noise intensity for different network size

图4给出随着噪声强度的变化，不同节点数目下两种算法均方误差的变化情况，可以看出，随着噪声强度的改变都出现了超阈值随机共振现象，在一定的噪声强度范围内均方误差随着噪声强度的增大反而减小，均方误差的最优值出现在了非零噪声强度处，即节点噪声能够改善加权随机汇池网络输出性能。还可以看出，当节点数目M较少时，Kalman-LMS算法(红色实线)的均方误差整体低于LMS算法(蓝色虚线)的均方误差，但随着节点数目M的增加，两种算法得到的均方误差性能趋于一致，这是由于随着节点数目增加，网络结构性能大幅度提升，算法间的差距变得不那么明显。

3 结论

本文研究了最优加权随机汇池网络中的两类自适应算法：LMS算法和Kalman-LMS算法，探究了非平稳信号下自适应加权随机汇池网络的估计性能。数值实验研究发现两种算法是收敛的，并有效跟踪信号的变化， 在不同节点数目的情况下，两种自适应算法的均方误差都存在超阈值随机共振现象，但是Kalman-LMS算法比LMS算法权值收敛速度更快且更稳定，比较两者的均方误差发现Kalman-LMS算法的稳健性较好。本文对于Kalman-LMS算法的收敛性理论证明没有给出，对于输入信号的许多非稳态特性也没有考虑，这些问题值得进一步探究。

我们在大都会学习中心旁听了一节历史课。这是一所公立磁石学校，授课的是一名全美优秀教师，学生则是九年级（相当于中国初三的学生）。这位老师对课堂有很强的掌控力，全程很好地驾驭着课堂，引导学生积极参与，课堂气氛十分活跃。我们跟着这位老师完整地上完了一节课，连中途校方请我们换教室继续参观，都没舍得离开。

参考文献:

[1]Mcdonnell M D, Amblard P O, Stocks N G. Stochastic pooling networks [J]. Journal of Statistical Mechanics Theory & Experiment, 2009, 10(1):01012.

[2]Mcdonnell M D, Abbott D, Pearce C E M. An analysis of noise enhanced information transmission in an array of comparators [J]. Microelectronics Journal, 2002, 33(12):1079-1089.

[3]Nguyen T. Robust data-optimized stochastic analog-to-digital converters [J]. IEEE Transactions on Signal Processing, 2007, 55(6):2735-2740.

[4]Panzeri S, Petroni F, Petersen R S, et al. Decoding neuronal population activity in rat somatosensory cortex: role of columnar organization [J]. Cerebral Cortex, 2003, 13(1):45-52.

[5]Hoch T, Wenning G, Obermayer K. Optimal noise-aided signal transmission through populations of neurons [J]. Physical Review E, 2003, 68(1):011911.

[6]Nikitin A, Stocks N G, Morse R P. Enhanced information transmission with signal-dependent noise in an array of nonlinear elements [J]. Physical Review E, 2007, 75(2 Pt 1):021121.

[7]Zozor S, Amblard P O, Duchêne C. On pooling networks and fluctuation in suboptimal detection framework [J]. Fluctuation & Noise Letters, 2007, 7(1):39-60.

[8]Martorell F, Rubio A. Cell architecture for nanoelectronic design [J]. Microelectronics Journal, 2008, 39(8):1041-1050.

[9]Benzi R, Sutera A, Vulpiani A. The mechanism of stochastic resonance [J]. Journal of Physical A, 1981, 14(11):453-458.

[10] Gammaitoni L, Hänggi P, Jung P, et al. Stochastic resonance [J]. Reviews of Modern Physics, 2008, 70(1):45-105.

[11] Dykman M I, Mcclintock P V E. What can stochastic resonance do? [J]. Nature, 1998, 391(6665):344.

[12] Kay S. Can detectability be improved by adding noise? [J]. IEEE Signal Processing Letters, 2000, 7(1):8-10.

[13] Abbott D. Overview: unsolved problems of noise and fluctuations.[J].Chaos. 2001,11(3):526-538.

[14] Oliaei O. Stochastic resonance in sigma-delta modulators[J]. Electronics Letters, 2003, 39(2):173-174.

[15] Mcdonnell M D, Stocks N G, Pearce C E M, et al. Analog-to-digital conversion using suprathreshold stochastic resonance[J]. Smart Structures, Devices, and Systems II, 2005,5649(1/3):75-84.

[16] Widrow B, McCool J M, Larimore M G, et al. Stationary and nonstationary learning characteristics of the LMS adaptive filter [J].Proceedings of the IEEE, 1976,64(8):1151-1162.

[17] Widrow B, Walach E. On the statistical efficiency of the LMS algorithm with nonstationary inputs[J]. IEEE Transactions on Information Theory, 1984, 30(2):211-221.

[18] Kalman R. A new approach to linear filtering and prediction problems[J]. Journal of Basic Engineering Transactions, 1960, 82(D)： 35-45.

[19] Mandic D P, Kanna S, Constantinides A G. On the Intrinsic relationship between the least mean square and Kalman filters[J]. IEEE Signal Processing Magazine, 2015, 32(6):117-122.

[20] Xu L, Duan F, Gao X, et al. Adaptive recursive algorithm for optimal weighted suprathreshold stochastic resonance[J]. Royal Society Open Science. 2017,4(9):1-12.

[21] 景文腾, 韩博, 耿金花,等.最优加权随机汇池网络估计性能研究[J].复杂系统与复杂性科学，2018, 15(3):89-93.

Jing Wenteng，Han Bo，Gend Jinhua, et al. Study of estimation performance of optimally weighted stochastic pooling networks[J].Complex System and Complexity Science, 2018, 15(3):89-93.

[22] Widrow B, Stearns S D. Adaptive Signal Processing[M].王永德,龙宪惠,译.四川：四川大学出版社，1991.

[23] Xu L, Vladusich T, Duan F, et al. Decoding suprathreshold stochastic resonance with optimal weights[J].Physics Letters A. 2015, 379(38): 2277-2283.