非线性共轭梯度法被广泛应用于最优化问题的求解方面，该算法简单、存储需求小。在长期的研究过程中，学者们设计出了PRP[1-2]，HS[3]，LS[4]，FR[5]等一批经典的共轭梯度算法。研究结果表明，充分下降条件是共轭梯度法的一个重要性质，对算法的全局收敛等性质的影响非常关键[6-10]。近年来共轭梯度法的研究新成果不断出现，如WEI等[11]提出的WYL共轭梯度法，该算法不仅收敛性质较好，而且数值方面的表现也比较出色。 YAO等[12]对WYL算法做了进一步推广，提出了一种修正的HS共轭梯度法，其公式定义如下：

 

ZHANG等[13]为了保证搜索方向自动具有充分下降性质，提出了一种三项PRP共轭梯度法，该算法的搜索方向定义如下：

 

式中迭代公式为xk+1=xk+tkdk， tk是步长。这样建立的算法能自动满足充分下降条件，因而具有良好的收敛性质。

共轭梯度法目前主要被应用于光滑优化问题的求解，特别是对大规模优化问题，其效果相对于牛顿法、拟牛顿法、信赖域法等优化方法更为明显。针对大规模非光滑凸优化问题，如金融、图形图像、生物工程、最优控制、信息技术等方面研究，能否充分利用共轭梯度法的特点来有效解决非光滑优化问题，研究成果还比较少。文献[14]和文献[15]分别提出了新的修正Polak-Ribière-Polyak和修正Hestenes-Stiefel共轭梯度法，这些算法通过利用Moreau-Yosida正则化技术，并结合Armijo-type线搜索，能够有效解决非光滑凸优化问题。胡亚萍[16]结合Moreau-Yosida正则化技术、邻近点算法提出求解无约束非光滑凸优化问题的修正LS算法和修正WYL算法。本研究将在文献[12]和文献[13]基础上，利用文献[14-16]的思想设计一种新的修正Hestenes-Stiefel共轭梯度算法，讨论其在求解大规模非光滑凸优化问题中的收敛性质和数值表现。

1 预备知识

为方便后面的讨论，给出非光滑凸优化问题的相关理论知识。

(5)利用中草药制剂防治肉鸡传染性法氏囊病，采用灌服途径给药，劳动强度较大。若将提取液按一定的比例添加到水中，通过鸡自由饮水进行给药，具有同样效果。连续给药7 d左右，即可治愈。在养殖过程中，应及时做好预防和治疗工作。

式中：dk是搜索方向，且常数c>0。在此基础上提出新算法。

min{f(x)|x∈Rn},

(1)

定理1 设序列{xk}，{tk}由算法1产生，假设A成立，则且序列{xk}的聚点是问题(1)的最优解。

从文献[20]可知，Fα(x,ε)和gα(x,ε)具有以下性质。

 

(2)

这里‖·‖指欧几里得范数，参数μ>0。令且令h(x)=arg minzQ(z,x),由于Q(z,x)对每一个固定的x强凸，故h(x)唯一。因此

由文献[17—19]可知F(x)具有以下性质：

i)F(x)是有界凸函数，且处处可微。令：

 

(3)

2.3 心理护理 该患者由于术后反复出现恶心呕吐症状，疗程长。患者思想压力大，情绪波动。作为医护人员要特别做好心理护理进行多方位的心理疏导减轻患者的心理压力。

 

∀x,y∈Rn。

遗传算法是以适应度[8]为依据的逐代搜索过程。传统的遗传算法，往往存在诸多问题，如收敛速度慢，最优解质量差，容易陷入局部最优等。针对传统遗传算法在旅行商问题求解中存在的弊端，本文对传统遗传算法的几个步骤进行优化，提出改进的遗传算法——在原有的基础上加入新型的进化策略，从而提升最优解的质量，降低最优解的误差率，有效控制遗传算法早熟收敛性。

(4)

ii)x是问题(1)的最优解，当且仅当时，有h(x)=x。

从上述讨论容易知道，只要求出arg minzQ(z,x)的最优解，F(x)和g(x)就可以确定下来。然而求出arg minzQ(z,x)=h(x)的精确解是非常困难的，甚至是不可能完成的任务。因此在实际计算中不可能用精确的h(x)去定义F(x)和g(x)。文献[20]给出了如下近似替换的思路与方法。

对∀x∈Rn，ε>0，存在向量hα(x,ε)∈Rn，使得：

 

(5)

当ε充分小时可用hα(x,ε)近似定义F(x)和g(x)表示如下：

 

(7)

对目标函数f施行Moreau-Yosida正则化后得到新函数F:Rn→R,

命题1 假设式(5)—式(7)成立，则有：

F(x)≤Fα(x,ε)≤F(x)+ε,

(8)

(10)

命题说明,当ε充分小，Fα(x,ε)和gα(x,ε)可以无限接近F(x)和g(x)。其证明详见文献[20]。

则g(x) Lipschitz连续，即

2 修正HS三项共轭梯度法

在文献[12-15]基础上，笔者提出一种求解非光滑无约束凸优化问题(1)的修正HS三项共轭梯度法，其搜索方向定义如下：

 

(11)

单独作战很难在激烈的市场竞争中有所发展，实行横向合作，进行连锁经营是今后农机维修行业主要发展方向，连锁经营一方面可以充分发挥企业现有的资源和技术力量、规范农机市场，另一方面可以第一时间获得新的技术，使新技术得到更快速的应用，遇到问题时解决更快，更有利于经验交流，从而更快提高从业人员的综合素质。第三可以扩大知名度，形成品牌，赢得市场份额。

算法1

Step1 选择初始值x0∈Rn，取σ∈(0,1)，c>0，s>0，μ>0，d0=-gα(x0,ε0)，γ∈[0,1]，令k=0。

Step2 如果‖gα(xk,εk)‖<γ，则停止运算，否则进行下一步。

Step3 选择一个εk+1，满足0<εk+1<εk，通过非单调Armijo-type线搜索[21]确定步长tk：

Fα(xk+tkdk,εk+1)-Fα(xk,εk)≤σtkgα(xk,εk)Tdk,

(12)

其中tk=s2-ik，ik∈{0,1,2,…}。

Step4 定义xk+1=xk+tkdk，如果‖gα(xk+1,εk+1)‖<γ，则停止运算；否则，进行下一步。

Step5 利用式(11)计算dk+1。

Step6 令k:=k+1，返回Step2。

引理1 对所有k∈N∪{0}，有：

针对非光滑无约束优化问题：

gα(xk,εk)Tdk=-‖gα(xk,εk)‖2。

(13)

证明

当k=0时，d0=-gα(x0,ε0)，命题成立。

当k≥1时，式(11)两边同时乘以gα(xk+1,εk+1)得：

 

-‖gα(xk+1,εk+1)‖2。

命题成立。

综上所述，命题对所有k∈N∪{0}都成立。

事物都具有双面性，网络课程也不可避免的拥有其局限性。如：在开发网上课程时,教师与课程开发脱节的问题比较突出，教师主要负责网上课程教材的编写工作,而网上课程的建设则是技术人员的事情[6]。在理论上，网络教育理论薄弱，即缺乏科学理论指导的实践也必然影响科学理论的形成和发展。长久下去，对实践也是不利的[7]。在内容上，品种繁多，缺乏规划；表现形式较为单一。在受众上，不能够保证受众接受的有效性。在技术上，无法保证一些障碍人士的学习需求。

引理2 对∀k∈N∪{0}，有：

 

(14)

证明 由于所以式(11)两边同取范数得：

‖dk+1‖=≤

‖gα(xk+1,εk+1)‖+≤

 

引理1说明本研究所提出的算法不需要线搜索即可满足充分下降条件。引理2说明搜索方向具有有界性，即搜索方向具有信赖域性质。

命题1：由制造商主导的Stackelberg博弈情形下， 当 4kα-θ2＞0， 且 D-k（Cm＋Cs）≥0 时， 具有如下的最优均衡解：

3 全局收敛性

以下是算法1的全局收敛性讨论中需要用到的假设。

假设A i)对∀ξk∈[xk,xk+1]和∀k∈N，存在一个正的常数ρ，使得：

 

(15)

其中F是目标函数f经Moreau-Yosida正则化后所得到的函数。

ii)函数F有下界。

iii)序列{εk}收敛于0。

引理3 设序列{xk}由算法1产生，假设A成立，如果则对充分大的k，存在一个正的常数l，使

tk≥l。

(16)

证明 反证法。

假设结论不成立，则存在使式(12)不成立，即：

 

根据式(8)和假设A，并利用泰勒展开式，有：

当时，竹韵即将从省城一家高等职业技术学校毕业，学校组织全校师生去听了一场龙斌的报告会。竹韵坐在最前排，每次掌声响起来的时候她都热泪横流，把手掌拍得发麻。坐在轮椅上的龙斌在她眼里变成了一座巍巍丰碑。听完报告，她第一个冲上台去，讨到了英雄的签名。回到学校，她醮着热泪，写下了一首情意真挚，后来被百余家报刊争相刊登的人生宣言般的长诗。嫁给英雄的念头就是在那时萌动的，接着她冲破父母和亲人的阻挠，谢绝了同学和朋友的劝告，义无反顾地走进了英雄的生活，轮椅在她手上一推就是八年……

 

(17)

式中从式(17)出发，根据式(10)、式(13)和式(14)及εk+1≤εk，结合有：

 

两边同时除以tk，并取极限得：

 

矛盾，故结论成立。

其中目标函数f:Rn→R是非光滑凸函数。

以上几篇论述陆游从军南郑生活经历的这些论文，很巧，基本上就是汉中地区学者写的。这里就展示了本地学者在研究陆游从军南郑这个问题上的地理优势，当然除了地理优势以外，还是他们自身的学术功底非常强。而且我还注意到，这些作者中间有一部分人并不在高等院校或科研机关工作，他们从事这类研究是业余的，业余的研究凭兴趣，是没有功利目的，纯粹是出于对学术的爱好，这点是特别值得我们崇敬的。

传统的语文教学是以单篇的课文为单位进行教学设计的，这样的教学固然能对文本中的知识点进行细致的剖析，但是却有“目无全牛”“见树木而不见森林”的弊病，学习板块之间难以形成紧密的联系。因而，教学难免会陷入重复、无序的境地。好比拔河，若没有一个共同的用力方向，则最终会造成合力的弱化。

证明 要证明只需证明

 

(18)

即可，采用反证法。假设式(18)不成立，则存在正的常数η0和k0，使得对∀k>k0，有：

‖gα(xk,εk)‖≥η0。

(19)

从式(12)出发，利用式(13)、式(16)、式(19)，得：

Fα(xk+1,εk+1)-Fα(xk,εk)≤σtkgα(xk,εk)Tdk=-σtk‖gα(xk,εk)‖2≤-σlη0,∀k>k0，

所以有：由此易知，当k→∞时，Fα(xk,εk)→∞，与假设A中条件ii)矛盾。因此式(18)成立。

下面证明第2个结论。

青岛福音堂旧址(今基督教堂)室内地面铺设红棕色的釉面地砖，尺寸152 mm×152 mm，模压图案为蔓叶，每4个1组拼合成一个完整圆形.图案内包含三叶草，比喻基督教的“三位一体”理论(图5).

同时，还需要抑制一些真菌和虫害，因为它们可能会对土壤中的营养素造成威胁。在过去的10年里，当地专家一直在做这方面的研究，努力设法提升土壤的养分，为植物提供一个良好的生长环境。

由式(10)有：

 

根据假设A中条件iii)，可得：

 

(20)

令x*是序列{xk}的聚点，则存在子序列{xk}K满足：

磷含量在174.43～215.01mg/100g之间，平均含量高达198.10mg/100g，不同部位含量的平均高低依次为最长肌肉含量213.56mg/100g、前腿肉含量207.34mg/100g、后腿肉含量203.56mg/100g颈肩肉含量199.85mg/100g、胸腹部肉含量179.89mg/100g。

 

(21)

根据式(3)以及F(x)的性质易知因此由式(20)和式(21)可知x*=h(x*)成立，故x*是问题(1)的最优解。

4 数值结果

笔者通过数值试验来考查本研究所提出的算法解决非光滑优化问题的有效性。试验的计算机环境为Windows7+Fortran90，内存2.0 GB，各参数选取为s=μ=1，σ=0.8，εk=1/(k+2)2；终止条件为‖gα(x,ε)‖≤10-15或者迭代次数Ni>104。测试问题选自文献[12]，测试程序是利用Fortran语言在文献[12]所提供程序基础上修改而得，新方法的实验结果将与文献[22]所提出的LMBM(limited memory bundle method)方法从Ni，Nf和f(x)等几方面进行比较。其中Ni为迭代次数，Nf表示函数值的计算次数，f(x)为近似最优点的函数值。

PBL教学中，护生为获得问题答案，主动运用多种手段（如教材、图书馆、文献检索系统、网络及多媒体等）进行自学，与同学沟通交流，在具体实践中验证及修正答案，很大程度上锻炼了他们的沟通及理论实践能力，为以后独立走向临床护理工作岗位、减少护患矛盾打下了良好基础[5]。

测试问题名称及初始点在表1中列出，2种方法数值试验的结果在表2中列出，其中Problem表示测试问题的名称，x0表示初始点，Dim表示维数。

 

表1 测试问题Fig.1 Test problems

  

No．Problemx01GeneralizationofMAXQ(1，2，…，n/2，…-(n/2+1)，…，-n)2GeneralizationofMXHILB(1，1，…)3ChainedLQ(-0．5，-0．5，…)4Numberofactivefaces(1，1，…)5NonsmoothgeneralizationofBrownfunction2(1，0，…)6ChainedMifflin2(-1，-1，…)

 

表2 数值结果Fig.2 Numerical results

  

No．DimMHSNi/Nf/f(x)LMBMNi/Nf/f(x)1000133/2735/2．760×10-721492/22259/6．710×10-613000149/2990/1．485×10-694144/96680/1．134×10-55000167/3381/3．107×10-7191470/196034/3．450×10-510000152/3060/2．021×10-5512415/523351/5．835×10-5100067/1086/4．280×10-2441/861/6．166×10-32300088/1392/3．0135×10-7209/579/5．872×10-25000104/1564/1．238×10-111258/2487/3．521×10-210000107/1681/1．797×10-127027/7810/5．116×10-210004/30/1．129×10-8300/1824/-1．413×105330007/51/-1．096×10-2275/1373/-4．241×10550002/11/1．201×10-4365/2198/-7．070×105100003/152/-9．655×10-3376/2281/-1．414×106100035/583/2．458×10-4523/569/1．377×10-144300051/778/4．076×10-81576/1577/1．555×10-10500050/782/1．599×10-32585/2586/1．213×10-101000059/945/9．789×10-95069/5073/5．384×10-1010004/30/2．258×10-8467/3873/4．058×10-9530007/40/2．118×10-7542/5245/6．227×10-850002/12/5．273×10-9453/4073/1．080×10-8100003/20/1．083×10-10736/7453/2．522×10-810004/30/-2．498×1041254/7355/-7．065×104630007/51/-7．498×104411/2353/-2．121×10550002/11/-1．250×105219/7382/-3．535×105100003/125/-2．500×105267/743/-7．070×105

分别对6个测试函数的4种不同维数进行测试比较，从表2可以看出，本研究所提出的新算法与求解非光滑问题的传统LMBM算法相比较优势明显。综上所述，新算法不仅具有较好的收敛性质，而且数值表现良好，因此可以认为它能够有效求解非光滑优化问题。

5 结 论

非线性共轭梯度法算法简单，存储需求小，是一种重要的优化方法，HS方法是其中被广泛讨论和运用的一种方法。本文针对非光滑优化问题的求解，在经典HS共轭梯度法的基础上，通过利用Moreau-Yosida正则化技术和文献[21]所提出的Armijo-type线搜索技术，设计了一种修正HS共轭梯度算法。笔者所设计的算法不仅可以自动具有充分下降性，而且相应的搜索方向属于信赖域。在适当条件下，证明了新算法是全局收敛的。初步的数值试验表明新算法在求解非光滑无约束优化问题方面是有效的。

在接下来的工作中，还有很多相关问题值得做进一步的思考和讨论，如新算法的收敛速度，各种参数的不同选择对算法效率的影响等，以及新算法在解决金融、图形图像、生物工程、最优控制、信息技术等实际问题所蕴含的非光滑问题时的效果，这些都有待在以后工作中继续检验和测试。

参考文献/References：

[1] POLAK E, RIBIERE G. Note surla convergence de method de directions conjugees[J]. Rev Francaise informat Recherche Opèrationelle, 3e Annèe, 1969, 16(16): 35-43.

[2] POLYAK B T. The conjugate gradient method in extremal problems[J]. Ussr Computational Mathematics and Mathematical Physics, 1969, 9(4): 94-112.

[3] HESTENES M R, STIEFEL E. Method of conjugate gradient for solving linear systems[J]. Journal of Research of the National Bureau of Standards, 1952, 49(6): 409-436.

[4] LIU Y, STOREY C. Efficient generalized conjugate gradient algorithms, part 1: Theory[J]. Journal of Optimization Theory and Applications, 1991, 69(1): 129-137.

[5] FLETCHER R, REEVES C. Function minimization by conjugate gradients[J]. Computer Journal, 1964, 7(2): 149-154.

[6] GILBERT J C, NOCEDAL J. Global convergence properties of conjugate gradient methods for optimization[J]. Siam Journal on Optimization, 1992, 2(1): 21-42.

[7] HU Y F, STOREY C. Global convergence result for conjugate gradient methods[J]. Journal of Optimization Theory & Applications, 1991, 71(2): 399-405.

[8] ZENG X W, GUO Y L, LI Q Q. Global convergence of the Polak-Ribière-Polyak conjugate gradient methods with inexact line search for nonconvex unconstrained optimization problems[J]. Mathematics of Computation, 2008, 77(264): 2173-2193.

[9] TOUATI-AHMED D, STOREY C. Efficient hybrid conjugate gradient techniques[J]. Journal of Optimization Theory & Applications，1990, 64 (2): 379-397.

[10] ALBAALI M. Descent property and global convergence of the Flecher-Reves method with inexact line search[J]. Ima Journal of Numerical Analysis, 1985, 5(1): 121-124.

[11] WEI Z X， YAO S W， LIU L Y. The convergence properties of some new conjugate gradient methods[J]. Applied Mathematics and Computation, 2006, 183(2): 1341-1350.

[12] YAO S W, WEI Z X, HUANG H. A note about WYL’s conjugate gradient method and its applications[J]. Applied Mathematics and Computation, 2007, 191(2): 381-388.

[13] ZHANG L, ZHOU W J, LI D H. A descent modified Polak-Ribière-Polyak conjugate gradient method and its global convergence[J]. Ima Journal of Numerical Analysis, 2006, 26(4): 629-640.

[14] YUAN G L, WEI Z X, LI G Y. A modified Polak-Ribière-Polyak conjugate gradient algorithm for nonsmooth covex programs[J]. Journal of Computational and Applied Mathematics, 2014, 255(1): 86-96.

[15] YUAN G L, MENG Z H, LI Y. A modified Hestenes and Stiefel conjugate gradient algorithm for large-scale nonsmooth minimizations and nonlinear equations[J]. Journal of Optimization Theory and Applications, 2016, 168(1): 129-152.

[16] 胡亚萍.非线性单调方程组和非光滑优化问题的算法研究[D]. 上海：华东理工大学，2014.

HU Yaping. Numerical Methods for Nonlinear Monotone Equations and Nonsmooth Optimization Problems[D]. Shanghai: East China University of Science and Technology, 2014.

[17] BONNAN J F, GILBERT J C, LEMARECHAL C,et al. A family of variable metric proximal methods[J]. Mathematical Programming, 1995, 68(1): 15-47.

[18] CORREA R, LEMARÉCHAL C. Convergence of some algorithms for convex minimization[J]. Mathematical Programming, 1993, 62(1/2/3): 261-273.

[19] HIRIART-URRUTY J B, LEMARECHAL C. Convex Analysis and Minimization Algorithms Ⅱ[M]. Berlin:Springer, 1993.

[20] FUKUSHIMA M, QI L. A globally and superlinearly convergent algorithm for nonsmooth convex minimization[J]. Siam Journal on Optimization, 1996, 6(4): 1106-1120.

[21] ZHANG H C, HARGER W W. A nonmonotone line search technique and its application to unconstrained optimization[J]. Siam Journal on Optimization, 2006, 14(4): 1043-1056.

[22] HAARALA M, MIETTINEN K, MKEL M M. New limited memory bundle method for large-scale nonsmooth optimization[J]. Optimization Methods & Software, 2004, 19(6): 673-692.