一个新的对于无约束非凸优化问题渐近的算法
0 引 言
在数学规划中,研究的大多数是凸函数的优化问题,而非凸函数优化很少涉及.非凸函数优化还是一个新兴的研究方向,发展较为缓慢,且主要应用于非凸优化方面的算法,Martient[1]和Rockafellar[2]在对极大单调算子的变分不等式的研究中引进渐近算法和在凸优化中引进一个渐近正则方法.文献[3-8]给出了凸优化中的非单调算子.文献[9-13]给出了关于非凸函数的概念以及非凸条件下的优化理论.文献[14]研究了f:X→(-∞,∞]和 g:Y→(-∞,∞] 是真下半连续函数(未必是凸的)的优化问题,其中X⊂⊂Rn是闭凸集,目的在于找到关于下列函数的临界点
f(x)+g(y),
(1)
使得
min(f(x)+g(y)).
(2)
引进交替方向法去解决非凸的线性约束问题,其中目标函数是真下半连续的非凸函数
构造的迭代方法如下:
(3)
通过收敛性分析,得到了交替方向法生成的序列{(xk,yk)}收敛于目标函数的一个临界点{(x*,y*)}以及{(xk,yk)}具有有限长.但所是构造的迭代方法中的罚参数的控制条件比较严格,且没有给出收敛速率的结果.本文借鉴文献[14]研究非凸函数无约束的优化问题,构造了新的渐进算法,并在适当条件下检验改进的迭代算法的收敛性.
1 预备知识
设H是一个定义了内积〈·,·〉和范数‖·‖的希尔伯特空间.
命题1 (ⅰ) domf:={x∈Rn:f(x)<+∞}表示f的定义域;
有
(ⅱ) 对于一点表示f在x的Fre′chet次微分,它是关于向量x*∈Rn的集合,该集合满足
(ⅲ) ∂f(x)表示f在x∈Rn处的极限次微分,定义为
∂f(x):={x*∈Rn:∃
张允和是合肥人,普通话不标准,老是拼错字,这时候,只需要一句“帮帮忙”,周有光就会应声过来,帮她校正。
命题2 设f:Rn→(-∞,+∞]是一个真下半连续函数.如果C是Rn的一个闭子集,对x∈Rn,x到C的距离
如真全面放开转专业,建议可以设置两个时间节点:一是入学后1个月,二是第一学期末。增加入学后1个月后这个时间节点的好处是:大多高职院校都开设《专业导论》,经过1个月的学习后对自己所学的专业已有初步了解,也初步接触专业相关课程,可以避免了学生在学习自己不敢兴趣的专业时产生厌学,同时减少转入新专业的学习压力和学习进度的不一致。弊端是:时间太短,未深入了解原来专业以及是否真的适合自己,可能出现再次“入错行”,甚至出现跟风。
dist(x,C):=inf{‖x-y‖:y∈C}.
(4)
命题3 如果C是Rn中的一个闭子集,用δC表示其指示函数, 即对所有x∈Rn,有
∀x∈Rn,显然有⊂∂f(x).其中第一个集合是闭的和凸的, 然而第二个集合是闭的. 用critf来表示f的临界点的集合, 即若0∈∂f(x):则有x∈crit.
您好!我是一个快上初三的大男孩。我知道自己已经步入青春期了,最明显的表现就是不愿意搭理父母,我也不知道为什么,但这就是我发自内心的感受,我觉得他们都不懂我,他们的关心让我感到烦躁。另一方面,我又略感自责,但我只要放学回到家,就无法克制自己。父母应该感觉到了我的疏远,我很苦恼。
(5)
在C上的投影PC(x):=argmin{‖x-z‖:z∈C}来表示.
命题4 设η∈(0,+∞].用Φη来表示所有凹函数和连续函数φ:[0,η)→R+,该函数满足下列条件:
充电工作模式下,控制充电电流I1保持在2 A,调节直流稳压电源输入电压U2,测量电路的输入电流I2,输出电压U1,则充电效率为:如表1所示。
(ⅰ) φ(0)=0;
我们探索一种基础理论,不光是为了解释一此现象,更重要是运用基础理论去指导开创有益的事业。当我发现了“植物体内同化物具有向库性,这种特性与库信号相关联,库信号的强弱决定同化物移动到库的量的大小”这个原理后,就用这个理论为指导创作了“笔下沙漠见春”的盆景,如图,
(ⅱ) φ在(0,η)上是C1和在0是连续的;
(ⅲ) ∀x∈(0,η),φ′(x)>0.
引理1[15] 设f:Rn→(-∞,+∞]是真下半连续函数,如果x∈Rn是f的局部极小值,则有0∈∂f(x).
引理2(KL性质)[16] 设f:Rn→(-∞,+∞]是真下半连续函数.则
(ⅰ) 设Dom∂f(x):={x∈Rn:∂f(x)≠φ}.f在具有Kurdyka-Lojasiewicz(KL)性质,如果∃η∈(0,+∞],对于的一个邻域U和一个函数φ∈Φη,使得
地方高校可通过为地方政府提供新农村建设和发展的决策咨询,帮助其制定行之有效的政策和措施来推动乡村振兴。在乡村建设前期,农民的主体性还不能得到充分的发挥,因此这就需要地方政府的科学决策,而地方政府科学且行之有效的决策离不开专家及学者的指点,这样地方高校就可以通过间接的方式支持乡村振兴。此外,高校还可为农村墓础教育提供人才支持和教育技术支持,开展农村职业教育培训和继续教育培训,帮助农民构建终身教育体系,进而提高农村人力资源水平,促进乡村振兴。
∀
(6)
现存法律的深度是金融衍生产品市场风险控制的关键。特别是针对金融衍生产品这样的复合型的金融产品,立法技术显得十分重要。中国目前的金融衍生产品市场如火如荼,可是其风险控制的法学领域却是一个花架子。有一些小打小闹,可是都没有从根本上对问题进行研究、解决。
(7)
(ⅱ) 如果一个凹函数f在关于Dom∂f(x)的每一点满足KL性质,则f被称为KL函数.
2 迭代算法
首先构造与式(1)有关的目标函数:
(8)
然后,给出该方法的迭代序列:
(9)
上述方法就是所构造的新的渐近算法.针对不同非凸问题的渐近算法和相关知识可以参考文献[17-22].假设满足的条件如下:
(H1) 式(9)的解集是非空的且
(H2) f和g是下有界的KL函数;
(H3) ∀k≥0,序列{λk},{μk}属于(λ-,λ+).
引理3 假定满足(H1)-(H3),设由式(9)生成的序列是{(xk,yk)},且
则(Δx,k,Δy,k)∈∂Ψ(xk,yk).故存在一个常数M>0,使得
‖(Δx,k,Δy,k)‖≤M(‖xk-xk-1‖+‖yk-yk-1‖).
证明 由式(9),得
(10)
设αk∈∂f(xk),可得关于式(10)的优化条件为
同理,
(11)
因为∂xΨ(xk,yk-1)=αk+‖xk-yk-1‖和∂yΨ(xk,yk)=βk-‖xk-yk‖, 有
最后
因此得到(Δx,k,Δy,k)∈∂Ψ(xk,yk).根据三角不等式,有
其中
从表1可以看出,苹果园中风速明显降低,5月苹果风速最大,以后呈降低趋势,不同处理风速相差较大。苹果树冠上部风速明显大于树冠下部,行间清耕苹果下部风速比上部风速降低42. 84%,间作小麦风速降低36. 47%,自然生草降低45. 49%。苹果树自身具有降低风速的作用,效果明显,树冠迎风面与背风面相比,树冠上部平均降低风速23. 31%,树冠下部风速降低42. 00%。8月份行间清耕风速下降率56. 91%,间作小麦下降40. 11%, 自然生草下降39. 33%;9月份行间清耕风速下降率39. 67%,间作小麦下降36. 14%,自然生草平地下降15. 49%。
3 收敛性分析
定理1 假定满足(H1)~(H3), 由式(9)生成的序列是{(xk,yk)}. 则下面的假设成立:
(ⅰ) 序列{Ψ(xk,yk)}是递增的且存在一个常数M1>0, 使得
M1(‖xk+1-xk‖2+‖yk+1-yk‖2)≤Ψ(xk,yk)-Ψ(xk+1,yk+1)
(12)
(ⅱ)
接受供卵或供精是唯一的病因学治疗方法。种植前基因诊断(PGD)可以诊断非整倍体和染色体易位。有研究显示对非整倍体的筛查可以降低流产率[10]。对于目前无法进行PGD的有遗传缺陷的RSA患者,可选择供者的配子接受辅助生育技术治疗。
如果{(xk,yk)}是有界的, 则
此外,和是有限的,则
证明 (ⅰ)由式(9)知
根据一些机构的调查和统计,现在的商务英语教学模式的现状总体来说不容乐观,虽有一些成功之处,但是其中存在不少的问题和缺陷。
(13)
(14)
∀k≥1,式(13)和(14)相加可得
生物知识本身与学生的生活息息相关。教师在讲解生物基础知识时,可以联系生活中的具体事例,增强学生的记忆能力。例如,在讲解“植物呼吸作用”时,教师可以提出问题:在我们的日常生活中,水果如何保鲜?在教师提出问题后,学生分组对问题进行研究、讨论和实验。在实验讨论结束后,教师对学生所做的一系列实验进行总结:水果在低温的、缺少氧气的情况下,保持适宜的温度,就能够长时间保持新鲜。
(15)
根据Ψ(x,y)的定义, 有
合法性是组织社会学研究的重要范畴。对组织合法性的多重界定和分类主要对应不同的制度来源和利益相关者④,广为认可的分类是Scott的规制合法性、规范合法性、认知合法性三分法,分别基于管制性规则、约束性期待和建构性图式三种秩序基础⑤。相关研究可分为制度视角和战略视角。制度视角用合法性来理解组织与制度的关系,解释组织趋同。⑥战略视角认为,组织可以高度控制合法化进程,并通过合法化策略获得、维持或修复合法性。⑦
(16)
这表明{Ψ(xk,yk)}是非增的. 其中
(ⅱ) 对不等式(16)从0到N(N≥0)求和,得
(17)
因为{(xk,yk)}是有界的,∀ε1>0, 存在N1>0使得∀k>N1
dist((xk,yk),(x*,y*))<ε1.
由f的下半连续性知
(18)
从式(9)知
因(xk,yk)→(x*,y*)且{λk}是有界的, 设k→∞,则有
如果C是空的, 对所有的x∈Rn,有dist(x,C)=∞.若dist(x,C)=0,则x∈C.
(19)
结合式(18)和(19), 得到
结果表明,试件壁厚从4 mm到12 mm的极限承载力显著提高,分别为157 kN、163 kN、167 kN和183 kN,当壁厚大于8 mm时,柱子极限承载力提高幅度开始增大;而小于8 mm时,承载力提高幅度基本不大。加大钢管厚度,承载力逐渐提高但提高幅度有限。壁厚4 mm、6 mm的极限承载力比壁厚8 mm、10 mm、12 mm的极限承载力更早达到。
同理
故
(20)
即∀ε2>0,∃N2>0, 使得∀k>N2
‖Ψ(xk,yk)-Ψ(x*,y*)‖<ε2.
(21)
∀k>N, 由式(22),式(11)式和φ的凹性可得
Ψ(x*,y*)<Ψ(xk,yk).
由KL性质知, 有
(xk,yk)∈ {(xk,yk)|dist((xk,yk),(x*,y*))<ε1}∩(Ψ(x*,y*)<
Ψ(xk,yk)<Ψ(x*,y*)+ε2).
设N=max{1,N1,N2},∀k>N,有
φ′(ψ(xk,yk)-ψ(x*,y*))dist((0,0),∂Ψ(xk,yk))≥1.
(22)
由引理3得
(23)
由φ的凹性有
φ(Ψ(xk,yk)-Ψ(x*,y*))-φ(Ψ(xk,yk)-Ψ(x*,y*)) ≥φ,(Ψ(xk,yk)-Ψ(x*,y*))(Ψ(xk,yk)-Ψ(xk+1,yk+1)).
(24)
因{Ψ(xk,yk)}是非增序列, 则可得∀k≥1
(25)
其中Ωk,k+1=φ(Ψ(xk,yk)-Ψ(x*,y*))-φ(Ψ(xk,yk)-Ψ(x*,y*)).
根据(a+b)2≤2a2+2b2和 有
2(‖xk+1-xk‖+‖yk+1-yk‖)≤M2Ωk,k+1+(‖xk-xk-1‖+‖yk-yk-1‖).
(26)
其中将式(26)从k=N+1,N+2,…,n相加,化简得到
其中ΩN+1,n+1=ΩN+1,q+Ωq,n+1(q是一个正整数).
然后由ΩN+1,n+1的定义和φ∈Φη,可得
+M2φ(Ψ(xN+1,yN+1)-Ψ(x*,y*)).
(27)
设n→∞,根据式(27)可得到因此,由于
得到是有限的.最终
4 收敛结果
定理2(收敛定理) 假定满足(H1)~(H3), 由式(9)生成的序列记作{(xk,yk)}. 用{(x*,y*)}表示关于Ψ(xk,yk)的极限点, 则{(xk,yk)}收敛于一个临界点{(x*,y*)}.
证明 设m>n>N,得到
(28)
式(28)表明{(xk,yk)}是一个收敛序列, 从定理1(ⅱ)知,
由引理2和定理1(ⅱ),有(Δx,k,Δy,k)∈∂Ψ(xk,yk),(Δx,k,Δy,k)→(0,0)当k→∞.因此,由∂Ψ的封闭性可知(0,0)∈∂Ψ(x*,y*),这表明(x*,y*)是Ψ的一个临界点.
推论1 假定Ψ满足(H1)~(H3)且在处具有Kurdyka-Lojasiewicz性质,且是Ψ一个局部极小点.则∃ε3>0和υ>0,使得
(ⅰ)
(ⅱ) minΨ<Ψ(x0,y0)
这表明以(x0,y0)为起始点的序列(xk,yk)具有有限长性质且收敛于(x*,y*), 即Ψ(x*,y*)=minΨ.
证明 从定理1知(xk,yk)收敛于(x*,y*), 一个临界点Ψ满足
minΨ<Ψ(x0,y0)
如果由引理2知
这与(0,0)∈∂Ψ(x*,y*)矛盾.
定理3(收敛速率定理) 假设Ψ(x,y)满足(H1)~(H3).假定(xk,yk)收敛于(x∞,y∞),Ψ(x,y)在(x∞,y∞)具有Kurdyka-Lojasiewicz性质.φ(s)=cs1-θ,θ∈[0,1),c>0.其中θ是关于(x∞,y∞)的一个Lojasiewicz指数. 则下列假设成立:
(ⅰ) 如果θ=0,序列(xk,yk)收敛于有限步长;
(ⅱ) 如果使得
‖(xk,yk)-(x∞,y∞)‖≤cτk.
(ⅲ) 如果
证明 (ⅰ) 假设θ=0. 如果Ψ(xk,yk)是固定的, 根据定理2,(xk,yk)收敛于有限步长.如果Ψ(xk,yk)不是固定的, 则对于任意k充分大, 由Kurdyka-Lojasiewicz不等式可得
cdist((0,0),∂Ψ(xk,yk))≥1.
这与(0,0)∈∂Ψ(xk,yk)矛盾.
(ⅱ) 假设θ>0.∀k≥0, 设
由定理1知它是有限的. 因为
Δk≥‖xk-x∞‖+‖yk-y∞‖,
估计Δk就足够了. 接下来有
Δk≤Δk-1-Δk+M2Ωk,k+1.
由Kurdyka-Lojasiewicz不等式可得
φ′[Ψ(xk,yk)-Ψ(x*,y*)]dist[(0,0),∂Ψ(xk,yk)]=
c(1-θ)[Ψ(xk,yk)-Ψ(x*,y*)]-θdist[(0,0),∂Ψ(xk,yk)]≥1.
因此
(Ψ(xk,yk)-Ψ(x*,y*))θ≤c(1-θ)dist[(0,0),∂Ψ(xk,yk)].
又因为
dist((0,0),∂Ψ(xk,yk))≤ ‖Δx,k,Δy,k‖≤M(‖(xk-1-xk)‖+
‖(yk-1-xk)‖)≤M(Δk-1-Δk).
最后得到
然后由Ωk,k+1的定义可得
Ωk,k+1≤φ(Ψ(xk,yk)-Ψ(x*,y*))=[c(Ψ(xk,yk)-Ψ(x*,y*))]1-θ.
最后给出
其中再结合文献[23]可以得到(ⅱ)和(ⅲ).
5 结束语
研究解决无约束非凸可分离规划的算法, 该目标函数是真下半连续的, 但未必是凸的. 目标函数具有KL性质,证明了算法的收敛性,也获得了收敛速率结果.通过Lojasiewicz指数相关的函数获得了收敛速率的结果.
参考文献(References):
[1] MARTINET B. Regularisation d′inequations variationnelles par approximations successives(French)[J].Rev Francaise informat.Recherche Operationnelle, 1970,4(4):154-158.
[2] ROCKAFELLAR R T.Augmented Lagrangians and applications of the proximal point algorithm in convex programming[J].Mathematics of Operations Research 1976,1(2):97-116.
[3] COMBETTES P,PENNANEN T. Proximal methods for cohypomonotone operators[J].SIAM J Control Optim,2004,43(2):731-742.
[4] KAPLAN A,TICHATSCHKE R.Proximal point methods and nonconvex optimization[J].Journal of Globl Optimization,1998,13(4):389-406.
[5] MIETTNEN M,MKEL M M,HASLINGER J.On numerical solution of hemivariational inequalities by nonsmooth optimization methods[J].Journal of Global Optimization,1995,6(4):401-425.
[6] MIFFLIN R,SAGASTIZABAL C.νμ-smoothness and proximal point results for some nonconvex functions[J].Optimization Methods & Software,2004,19(5):463-478.
[7] PENNANEN T.Local convergence of the proximal point algorithm and multiplier methods without monotonicity[J].Mathematics of Operations Research,2002,27(1):170-191.
[8] Spingarn J E.Submonotone mappings and the proximal point algorithm[J].Numerical Functional Analysis & Optimization,1982,4(2):123-150.
[9] ATTOUCH H,SOUBEYRAN A.Inertia and reactivity in decision making as cognitive variational inequalities[J].Journal of Convex Analysis,2006,13(13):207-224.
[10] CLARKE F H,STERN R J,LEDYAEV Y S,et al.Nonsmooth analysis and control theory[J].Graduate Texts in Mathematics,1998,178(7):137-151.
[11] MORDUKHOVICH B S.Maximum principle in the problem of time optimal response with nonsmooth constraints[J].Journal of Applied Mathematics and Mechanics,1976,40(6):960-969.
[12] MORDUKHOVICH B.Variational analysis and generalized differentiation[M].Heidelberg:Springer,1998.
[13] ROCKAFELLAR R T,WETS R.Variational analysis[M].Heidelberg:Springer,1998.
[14] WANG X Y,LI S J,KOU X P,et al.A new alternating direction method for linearly constrained nonconvex optimization problems[J].Journal of Global Optimization,2015,62(4):695-709.
[15] NOCEDAL J,WRIGHT S J.Numerical optimization[M].New York:Springer,2006.
[16] BOLTE J,DANIILIDIS A,LEWIS A.The Lojasiewicz inequality for nonsmooth subanalytic functions with applications to subgradient dynamical systems[J].SIAM Journal of Optimization,2006,17(4):1205-1223.
[17] REDONT P,SOUBEYRAN A.Proximal alternating minimization and projection methods for nonconvex problems:An approach based on the Kurdyka-jasiewicz inequality[J].Mathematics of Operations Research,2010,35(2):438-457.
[18] BOLTE J,SABACH S,TEBOULLE M.Proximal alternating linearized minimization for nonconvex and nonsmooth problems[J].Mathematical Programming,2014,146(1-2):459-494.
[19] LEMAIRE B.The proximal algorithm[J].New Methods in Optimization and Their Industrial Uses,International Series of Numerical,1987,87:73-87.
[20] ROCKAFELLAR R T.Monotone operators and the proximal point algorithm[J].Siam Journal on Control & Optimization,1976,14(5):877-898.
[21] SPINGARN J E.Submonotone mappings and the proximal point algorithm[J].Numerical Functional Analysis & Optimization,1982,4(2):123-150.
[22] ATTOUCH H,BOLTE J,SVAITER B F.Convergence of descent methods for semi-algebraic and tame problems:Proximal algorithms,forward-backward splitting, and regularized Gauss-Seidel methods[J].Mathematical Programming, 2013,137(1-2):91-129.
[23] ATTOUCH H,BOLTE J.On the convergence of the proximal algorithm for nonsmooth functions involving analytic features[J].Mathematical Programming,2009,116(1-2):5-16.