本文主要考虑如下约束优化问题

 

(1)

式中:f:Rn| →R,Ω={x∈Rn:c(x)≤0}是可行域。

随着计算机模拟成为越来越重要的科研手段,出现了很多导数信息难以得到的问题,比如“黑箱”问题,其函数值往往由实际生产、物理实验或计算机模拟给出。因此,无导数优化的研究受到广泛关注。无导数优化算法包括信赖域算法、直接搜索算法[1,2]等。Audet等[3]提出了网格自适应直接搜索(Mesh adaptive direct search,MADS)算法,该算法的主要思想是,将每次迭代分为搜索步和探测步,搜索步在变量空间中进行全局搜索,并识别出所有包含局部最优的可行区域;探测步在变量空间中进行局部搜索,目的是精确查找最优点。

近年来,众多学者对构建函数模型及产生探测方向集策略等进行了研究。文献[4,5]基于F范数模型得到近似Hessian矩阵,大大提高了直接搜索算法的效率。文献[6]在本分点邻域中选取样本点,基于多项式插值法,通过该样本点的函数值来构建目标函数和约束函数的二次插值模型,并将子问题的最优解作为搜索步下一次迭代的试验点,但这种方法计算量相当大。为了降低计算量,文献[7]基于泰勒展开式和线性回归的思想,利用近似Hessian矩阵和近似梯度来构建目标函数和约束函数的二次模型,提出基于近似Hessian矩阵的二次规划网格自适应直接搜索(Quadratic programming mesh adaptive direct search,QPMADS)算法。方向的选取策略在探测步探索过程中也占有重要地位。文献[8]根据参数取值确定下三角矩阵的对角线和下三角元素,提出基于随机下三角矩阵的随机下三角网格自适应直接搜索(Lower triangular mesh adaptive direct search,LTMADS)算法,用于产生一个在整个n维空间稠密的探测方向集合,然后在MADS算法框架基础上寻优。文献[9]提出基于Householder变换的正交网格自适应直接搜索(Orthogonal mesh adaptive direct search,OrthoMADS)算法,产生正交的方向集合,在探测步中,以当前迭代点为中心按照该探测方向集进行局部搜索。文献[10]基于正交三角分解(Othogonal triangular decomposition,QR)思想得到接近均匀分布的方向集合,提出了正交三角分解网格自适应直接搜索(Othogonal triangular decompositional mesh adaptive direct search,QRMADS)算法。结合此方向集合在网格框架上进行局部搜索。但由于没有较好的构造模型的策略,该算法的效率及收敛速度仍存在不足。

为了减少算法的迭代次数,提高算法效率和收敛速度,本文对原始的QPMADS算法进行如下改进:改进探测方向集的更新策略,提出一种基于QR分解的算法,在搜索步中,结合该算法产生的均匀分布的方向集,得到近似Hessian矩阵的更新,之后改变部分参数,仍采用泰勒展开式和线性回归的思想构建目标函数和约束函数的模型函数;在探测步中,以当前迭代点为中心,沿着该算法产生的方向进行局部搜索,提出一种基于近似Hessian矩阵的MADS算法。

1 修正的QPMADS算法

假设向量值函数c(x):Rn| →Rm表示m个不等式约束,令g和B分别为f(x)在x0点的近似梯度和近似Hessian矩阵,A∈Rn×m为约束函数模型的系数矩阵。利用泰勒展开式和线性回归的思想,考虑构建目标函数f(x)及约束函数c(x)的模型函数mf(x)和mc(x),构成如下子问题

 

算法2 修正的QPMADS算法

1.4 传染源管理及疫情处置 对本地“四热病人”开展常规血检工作；对外出到疟疾流行区务工返乡人员和来自疟区的外来人群等高危人群进行登记和采血检查；对疟原虫血检阳性者（间日疟）给予氯喹1.2 g 3 d、伯氨喹180 mg 8 d疗法治疗，恶性疟病例采用青蒿素类药物为基础的复方用药（ACT）规范治疗并做好流行病学调查和随访［2］。对当地感染病例和输入性病例达2例及以上的病灶点，给予病家及其周围人群预防服药，同时采用菊酯类杀虫剂喷洒或蚊帐浸泡，防止发生输入性继发病例。

(2)

式中:s=x-xk,ck=c(xk)。下面对g,A,B进行求解。

为了得到近似Hessian矩阵B,基于拟牛顿法中秩一校正公式的思想,H是f(x)在x0的Hessian矩阵,存在向量p∈Rn,使得更新后的近似Hessian矩阵B+满足[11]

搜集本院2015年6月—2017年8月经手术病理证实的25例儿童后颅窝肿瘤患者的资料。男17例，女8例，年龄1～11岁，中位年龄5岁。临床表现各异，主要有头晕、头痛、呕吐、行走不稳、四肢无力、四肢抽搐等。

 

(3)

式中:f2,p=pTHp,易得pTB+p=pTHp。此外,如果p/‖p‖在单位空间内均匀分布,则近似Hessian矩阵B线性收敛到Hessian矩阵H[7]。

引理1[11] 令B0是随机的对称矩阵,f在随机点列{xk}的Hessian矩阵序列{Hk},且E[‖Hk‖F]是有限的,序列{pk/‖pk‖}在单位空间均匀分布,构建矩阵序列

 

(4)

式中:f2,pk(xk)≈f(xk+pk)+f(xk-pk)-2f(xk)。

假设Hk满足则有显然,为了得到B的更新式(4),需要进一步求得p,本文将p看作探测方向,进而序列{pk}构成探测方向集。下面详细介绍产生探测方向集的算法。

记xk为第k次迭代的本分点,是网格参数,其中D满足两个条件:(1)D必须是一个正生成集合,即其每列元素的非负线性组合可以张成整个空间Rn;(2)每一个方向向量dj∈D(j=1,2,…,nD)必须是Gzj的乘积,其中,G∈Rn×n是一个非奇异生成矩阵,zj∈Zn,集合D也可看成是一个实n×nD矩阵。

1.1 产生探测方向集及基于正交三角分解的算法

本文基于QR分解算法思想产生均匀分布的方向集合[10],将探测方向集的更新法则变更为直接随迭代过程进行更新。下面给出修正的QR分解算法的具体步骤。

（一）自我评价，善于反思。队员们在志愿活动后会收到一张自我评价表格，表格上要求队员完成填写此次活动的主题和目的等基本信息，然后附上自己参与活动后的一些感悟，包括自己的收获与自己做得还不够好的方面。这样一张简单的表格，却在无形中强化了队员参与志愿活动的重大意义以及锻炼了队员的自我评价与反思能力。

定理1 修正的QPMADS是MADS中的一个特例。

Nk是随机矩阵,其元素服从正态分布N(0,1)。

步骤1 将Nk进行QR分解,即Nk=QkRk,其中Qk是正交矩阵,Rk为上三角矩阵;

步骤2 构建对角矩阵Ck,对角元素满足cii=sign(rii),其中rii是Rk的对角元素;

步骤3 构建矩阵Uk,使得Uk=QkCk;

现有的无人快递主要有无人车快递和无人机快递两种，无人快递车主要服务于最后一公里的快递配送服务，可以识别、躲避障碍物辨别红绿灯，还能自动驾驶、路线规划、主动换道、车位识别、自主泊车……到目的地后，消费者可选择人脸识别、输入取货验证码、点击手机App链接等三种方式取货。

步骤4 构建矩阵Vk,Vk的每一列元素是使得最小的yk,其中yk∈Yk,uk∈Uk;

步骤5 构建Dk,Dk是n×2n的矩阵,前n列是Vk,后n列是-Vk。

其中Vk的每一列是均匀分布的[11],如上所述构建V,当趋近于0时,V的每一列标准化后在单位空间内是均匀分布的[7]。

虽然黄诗学杜，极力主张用典，但也强调炼字造句，推陈出新，形成了独特的风格。如刘克庄《江西诗派序》说黄庭坚“会萃百家句律之长，究极历代体制之变”，“自成一家，遂为本朝诗家宗祖”。朝鲜诗人也多赞同此说，如李德懋和正祖李祘都说过：“黄庭坚会萃百家句律之长，究极历代体制之变，自成一家，为江西诗派之宗祖。”[2](267辑《〈诗观〉五百六十卷》，P509)至于如何“自成一家”，朝鲜诗人也在诗话、序、跋、书信中多有议论，他们认为“精绝”“清”“奇”“雄”“健”“豪”是黄庭坚诗歌的主要风格特色。

(1)求解g:在xk的邻域内至少选择n+1个点,即满足‖x-xk‖≤ρ,xk≠x,在进行数值实验的过程中,考虑到ρ的几何意义,若在任何维数的问题上保持ρ=4不变,将找不到满足‖x-xk‖≤ρ的n+1个点,本文改进参数ρ的选值,在低维问题中,令ρ=4,在高维问题中,ρ=2。利用线性回归的思想,极小化mf(x)与f(x)的距离的平方和,这个问题可转化为最小二乘问题

引理2 令K是修正的QPMADS中失败迭代的指标集,则探测方向集在单位空间上是稠密的。

“胡人杀进来的时候，是傍晚，天上正下着雪。我说：‘咱们到屋顶去躲一躲。’就爬上屋顶，把儿子、女儿接上去，再把老婆拉上来。

 

(5)

式中:Dx的各行是(x-xk)T,df=1/2(x-xk)TB(x-xk)+fk-f(x)。对Dx进行奇异值分解,可容易解决上述问题,从而得到g[5]。

(2)求解A:与解g的过程一样,极小化mc(x)与f(x)的距离的平方和,将问题转化为最小二乘问题

 

(6)

式中:Dc=ck-c(x),Dx的各行元素是(x-xk)T,对其进行奇异值分解,可容易解决上述问题,从而得到A。

(d)如果fΩ(xk+(s))<fk,转步骤4;否则,转步骤2。

1.2 算法描述

原始的QPMADS是基于二次模型的随机算法,该算法具有较低的复杂度,但效率低,且迭代过程中的收敛速度缓慢。针对该算法存在的缺陷,本文提出一种修正的QPMADS算法。基于正交三角分解,构建一种探测方向集Vk,在搜索步仍结合泰勒展开式和线性回归思想,构建函数模型,得到局部解。在调查步,以当前迭代点为中心按照探测方向进行局部搜索。这有利于提高算法效率和收敛速度。在原始的QPMADS算法中,D=[I,-I],为了使得Vk是非奇异的且Dk生成整个空间,存在参数lk和γ,使得网格参数和框架参数的更新法则如下

 

(7)

 

(8)

参数γ的选择与问题的维数有关,γ保证对任意是充分大的[7,12]。在QPMADS中,选取γ=1+n/2,在修正的QPMADS中γ的取值保持不变。

参数lk的变化与迭代的成功与否有关

 

(9)

此外,MADS算法在处理约束时,包括极端障碍函数法[3]和过滤算法[13]等,本文采用极端障碍函数法处理约束条件,用障碍目标函数fΩ=f+ΨΩ代替目标函数f进行研究,当试验点属于可行域Ω时,ΨΩ=0,fΩ=f;否则,ΨΩ=∞,fΩ=∞,其中ΨΩ是一个指示函数。记下面给出算法具体步骤。

s.t. mc(s)=As+ck≤0

步骤0 (初始化)

本文通过对已使用游客中心的游客进行阶梯式访谈，获取“属性-结果”“结果-价值”的关系矩阵，并生成结构价值图。根据该图，提出游客对于游客中心的价值感知具有层次性的假设，即“游客对于属性层价值感知显著影响结果层价值感知”和“游客对于结果层的价值感知显著影响游客对于价值层的感知”。其次，通过问卷形式收集数据，运用因子分析提取各层次感知价值维度，采用多元回归就“属性-结果层”与“结果-价值层”的关系进行验证，并且通过可视化描述，建立大峡谷游客中心感知价值层次模型。与已有关于游客感知价值的研究相比，本研究探讨了感知价值间的关系，得出以下几点结论：

初始可行点x0∈Ω,初始网格参数与探测参数

步骤1 (搜索步)

(a)在本分点xk的邻域内利用线性回归的方法构建约束函数c(x)的模型函数mc(s);

(b)构建近似Hessian矩阵B,利用线性回归模型得到方向导数g,从而得到目标函数的模型函数mf(s)=1/2sTBs+gTs+fk;

将修正的QR算法产生的探测方向pk∈Dk代入式(4),可得到Bk+1。

(c)求解子问题(2),得到s,计算fΩ(xk+(s));

综上,B,g,A可定义子问题(2)。

步骤2 (探测步)(搜索步失败后)

计算是算法1产生的方向集)直到找到d,使得转步骤3;否则转步骤4。

环节二： 运用概念图的形式构建体液免疫概念模型(图2)。过渡： 经过体液免疫可以把体液中的病原体消灭，如果病原体进入细胞，又是如何消灭这些病原体的呢？

步骤3 (拓展探测步)

从以上定价中可以看出，当θ=1时，即当消费者对再制造产品的认知程度跟新产品一样时，pn=pr。即两种产品的销售价格一样。

计算如果令转步骤4;否则令转步骤4。

共设7个污泥栽培基质处理水平和1个对照组。表1中处理①至处理⑦为不同城市污泥堆肥基质配比，经堆积发酵后作为栽培基质。处理⑧为对照组（CK）是由椰糠和泥炭土按体积比为1∶2配成栽培基质。选取生长状态基本一致，5～6片叶子，高约15 cm的锦紫苏扦插苗［13］。用处理①至处理⑧栽培基质种植，每盆1株，每组6盆，设3个重复，按常规管理进行。

步骤4 根据式(7)、(8)、(9)更新网格参数与令k=k+1,转步骤1。

1.3 复杂度分析

在改进的QPMADS中,更新的近似Hessian矩阵B的复杂度为(n2),计算g和A时,选取至少n+1个点,由线性回归的思想,通过奇异值分解得到复杂度为(n3),该算法与原始的QPMADS算法复杂度相同。

1.4 收敛性分析

具体如表2所示，可见，虽然由于研究例数较少，一些特定并发症的发生率差异不明显，但从整体上看，观察组孕妇的妊娠期并发症发生率显著低于对照组（P＜0.05）。

证明 在修正的QPMADS中,改变方向集的更新方式及重要的参数,不影响引理2的证明,故证明过程参见文献[7]中的引理2。

算法1

证明 同样地,在新算法中,改变探测方向集的更新方式,使其随迭代进行更新,不影响定理1的证明,证明过程参见文献[7]中的定理4。

2 数值实验

通过具体的测试函数[14,15],比较本文算法与原始QPMADS算法的迭代次数和实验结果,检验算法的有效性。

测试环境:在Intel(R)Core(TM),i3-2310M,2.10 GHz,2 GB内存的联想G470笔记本电脑上运行,基于Matlab2009b编程实现测试。

算法2使用的初始参数如下

11月16日，东风启辰T60在广州车展正式上市，新车共发布7款车型，售价为8.58万～11.88万元。东风启辰T60集东风启辰全新智·趣科技打造，依托“雷诺-日产-三菱”联盟，与英菲尼迪ESQ同平台研发，拥有全维智趣科技、星航科技设计、精良合资品质三大优势，是国内首款实现车家互控的SUV。东风启辰T60搭载日产HR16 1.6升发动机和XTRONIC CVT无级变速器，最大功率127马力，最大扭矩154牛·米。

 

在计算g和A时,在试验点的邻域内(即满足‖x-xk‖≤ρ,ρ=4),选择至少n+1个点。

终止准则:在运行的过程中,试验点满足f<fL+ε(f0-fL)时运行结束,其中ε=10-3,f是试验点的函数值,fL是用其他算法计算出的最小函数值,f0是初始点的函数值。

考虑到算法的随机性,每个测试函数独立进行100次测试,两种算法初始点相同,求出平均迭代次数。

配电网自动化系统提升可感知性主要指充分利用配电网自动化技术运用功能设计过程中，保障自动化系统在运行过程中操作便利，并可提供精确的供电信息，系统能较快地被感知及维护，及时规避应用中的隐藏性漏洞，进而全面增强自动化系统的应用效率。

为了验证修正的QPMADS算法的实际效果,针对已有的33个测试函数,求出其平均迭代次数及最优值,结果列于表1。对比结果汇总于表2。经分析,在均能搜索到最优值的情况下,对于19个测试函数,修正的QPMADS算法的平均迭代次数少于原始的QPMADS算法,且对于部分测试函数效果明显,对于7个测试函数,二者的迭代次数相同。测试结果表明,基于正交三角分解构建探测方向集可使算法具有较好的效率。由表1、2可见,修正的QPMADS算法较原始的QPMADS算法有明显优势,说明修正的QPMADS算法更加有效。

 

表1 测试函数迭代次数比较结果

  

函数序号维数修正的QPMADS算法迭代次数最优值原始QPMADS算法迭代次数最优值1229-30．000026-29．982822411．0000481．002032814312．6000956307．425542240．3000220．25025271．100081．0748621765．00002285．0110721-99．90001-99．93108379-22．600082-22．611593151．0000171．0011103426．0000536．0091113170-4．60001394．600012376-3298．200080-3298．300013359-3455．000066-3454．90001441010154107-44．000076-44．0000164131．0000121．0000174142-4．7000197-4．700018777680．300087680．40001922-0．50002-0．50002071-0．20001-0．20002162-2．50002-3．23022222-1．10002-1．08022332-2．20003-2．15592443-3．20004-3．151525103-9．50004-9．336726205-19．47065-19．460927304-29．97355-29．56812821220．09091100．0920293310205030278-0．49991150．00163131340．04023260．00473232760．0096190332691．3997881．3997

 

表2 比较结果汇总

  

算法胜出次数平的次数输的次数修正的QPMADS1977原始的QPMADS7719

针对不同维数的测试函数,本文给出了如图1所示的两种算法的收敛曲线。由图1可见,修正的QPMADS算法收敛速度明显大于原始的QPMADS算法,表明本文算法有较好的性质。

  

图1 两种算法对于测试函数的收敛曲线

3 结论

本文介绍了MADS算法,提出了一种修正QR算法,结合得到的探测方向集,并综合考虑参数的几何意义,提出了修正的QPMADS算法。最后,通过数值实验验证了算法是简洁有效的。数据表明,修正的QPMADS算法在迭代次数和收敛速度上有较大改善,新算法在一般的约束优化问题中较有优势,与原始的QPMADS算法相比,减少了计算时间和迭代次数。但仍然存在不足之处。搜索步中,试验点的选取策略有很多,策略的好坏决定算法的收敛速度及解的精确度,这些问题还需进一步研究。

参考文献:

[1]蔡志杰,陈德强. 非线性优化的直接搜索算法及收敛性证明[J]. 复旦学报(自然科学版),2006,45(3):396-403.

Cai Zhijie,Chen Deqiang. Direct search algorithm for nonlinear optimization and convergence analysis[J]. Journal of Fudan University(Natural Science),2006,45(3):396-403.

[2] 黄天云. 约束优化模式搜索法研究进展[J]. 计算机学报,2008,31(7):1200-1215.

Huang Tianyun. Research advances on pattern searches in constrained optimization[J]. Journal of Computers,2008,31(7):1200-1215.

[3] Audet C,Dennis J E. Mesh adaptive direct search algorithms for constrained optimization[J]. SIAM Jounal on Optimization,2006,17(1):188-217.

[4] Custódio A L,Rocha H,Vincente L N. Incorporating minimum Frobenius norm models in direct search[J]. Computation Optimization Application,2010,46(2):265-278.

[5] Powell M J D. Development of NEWUOA for minimization without derivatives[J]. IMA Jounal of Numerical Analysis,2008,28:649-664.

[6] Conn A R,Le Digabel S. Use of quadratic models with mesh-adaptive direct search for constrained black box optimization[J]. Optimization Methods & Software,2013,28(1):139-158.

[7] Burmen A,Olensek J,Tuma T. Mesh adaptive direct search with second directional derivative-based Hessian matrix[J]. Computation Optimization Application,2015,62:693-715.

[8] Audet C,Custódio A L,Dennis J E. Erratum:mesh adaptive direct search algorithms for constrained optimization[J]. SIAM Jounal Optimization,2007,18(4):1501-1503.

[9] Abramson M A,Audet C,Dennis J E,et al. Ortho MADS:a deterministic MADS instance with orthogonal directions[J]. SIAM Journal on Optimization,2009,20(2):948-966.

[10] Van Dyke B,Asaki T J. Using QR decomposition to obtain a new instance of mesh adaptive direct search with uniformly distributed polling directions[J]. Jounal Optimization Theory Application,2013,159(3):805-821.

[11] Leventhal D,Lewis A S. Randomized Hessian estimation and directional search[J]. Optimization,2011,60(3):329-345.

[12] Conn A R,Scheinberg K,Vicente L N. Introduction to derivative-free optimization[M]. Philadelphia,US:Socoety for Industrial and Applied Mathematics,2009:15-23.

[13] 王娟娟. 一般约束的网格自适应直接搜索过滤算法[D]. 南京:南京理工大学理学院,2012.

[14] Karmitsa N. Test problems for large-scale nonsmooth minimization[R]. Jyväskvlä,Finland:University of Jyväskvlä,2007.

[15] Hock W,Schittkowski K. Test examples for nonlinear programming codes[J]. Lecture Notes in Economics and Mathematical Systems,1981,187:1-177.