更全的杂志信息网

异构云环境下能效优化的任务调度算法∗

更新时间:2009-03-28

1 引言

云计算作为全球一种新兴的统筹计算模型和商业服务的模式,是目前拥有最高网络计算速度的网络服务平台,伴随着云计算服务平台系统的规模不断增大和系统的计算性能的不断增强,数据中心的高能耗已经成为云数据中心系统中亟待解决的首要问题。所以,以提高计算速度为云计算数据中心的唯一目标明显已不再能满足当代云计算技术发展的要求,因此在当代云计算技术的科学研究中把计算性能与能耗的高能效优化调度的有机结合逐渐成为备受大家关注的课题。然而,云数据平台计算节点的异构特性在一定程度上影响了云计算系统性能以及能耗[1]。以美国为例,美国国家云数据中心的任务调度耗电10亿千万时的电能超过了当年美国所有彩色电视机的总能效。因此在美国云计算中心的技术研究的一个关键问题就是如何对云计算中心大规模的任务调度优化以达到提高云计算系统的能效的目的。

为了深入贯彻落实习总书记两次视察北京时的重要讲话精神,全面加强首都“四个中心”建设,特别是在北京服务业品质提升中突出北京文化的特点和特色,据悉,北京烹饪协会接下来要在以下4个方面努力,争取把京菜品牌做大做强:一是要继续深入抓好京菜的技艺传承和菜品创新;二是要高度重视菜品和服务两手抓,全面提升京菜发展水平;三是要把加强京菜文化建设作为发展振兴京菜的核心;四是要在促进京菜企业发展上扩大京菜影响力。

因此,本文深入研究了针对异构云环境下的任务调度的能效优化问题,对异构物理服务器增加了异构能效约束机制,在异构服务器上提出了执行任务的能效异构性的建模的步骤,深入研究了云任务的调度模型的内涵并以此为根据提出了能效优化的调度新算法,实现了面向不同需求的任务调度,使异构云环境下任务调度的能效有了显著提高。

早在2006年美国已经建成6000个云计算数据中心,消耗了大量能源。根据数据表明,云计算数据中心平台的能效可以达到全美能效消耗的1%左右,而且每年伴随着大约以12%的对电能的需求的速度增长。截至2011年,美国全国数据中心任务调度会预计消耗1000亿千瓦时的电能,大约每年花费74亿美元。并且,对于全球所有企业电能花费问题IDC(International Data corporation)市场研究公司的评估结果表明,每年大概要花费400亿美元在能耗上。云计算数据中心的高能耗问题带来了一系列的严重后果,例如:造成电能的浪费;造成了不稳定的系统运行;对周围环境造成不良影响。因此,云数据中心能耗的降低已经刻不容缓,如何才能实现对不同受众需求下的任务调度的能耗的降低和任务调度计算性能的优化已经成为当前云数据中心急需解决的首要问题[3~8]

在物理异构服务器的云环境下进行调度任务中,不仅仅要关注任务调度的性能的稳定,更加重要的是关注执行任务的能效问题。目前云计算需要解决的重要问题之一就是如何实现高能效的任务调度。然而,要想研发设计并且通过大量实验可以实现新的高能效的任务调度算法是非常困难的。为了解决服务器异构的云环境下调度任务的问题,从两个方面我们将开展工作:首先,通过大量的科学实验来定性地分析研究异构服务器调度任务时的能效异构性现象,根据分析结果提出了在物理的异构服务器上调度任务的能效异构性的建模步骤,分析和明确服务器资源异构度与能效优化的定量关系,用以作为指导设计和研发能效优化云任务算法的依据;其次,我们将分析对比性能受限的能效优化云计算任务调度和能效受限的性能优化云计算任务调度,通过研究提出了结合两个不同方向优化目标的云任务调度的最优算法,从而以达到满足用户的任务调度需求的目的。

2 基于能效的异构云环境任务调度模型

重拳出击,大案查办全国知名。该处严查严办、追根溯源,在大案要案查办上连续取得突破。2013年以来,查办案值在100万元以上的大案达20多起,其中3起案件入选国家总局年度食品药品稽查优秀案例。国家总局稽查局就“阳光一佰”制售有毒有害保健食品案给予表扬。同时,该处积极开展政企合作,与多家国内外知名企业签订打假战略合作协议,查处了“5·28”特大生产、销售假抗癌药系列案件,案值达数亿元,维护了企业的合法权益。

同时,由于建立的资源分配模型求解算法具有指数复杂度,当云数据平台任务调度的问题规模巨大时(即等待调度的服务器数量很多,例如服务器数量为2000),并不能快速求得最优解。因此我们可以考虑采用分布式处理的方法,将所有的等待调度的数据服务器分别定义为若干个服务器集群,分别面向每个服务器集群设计能效优化的调度模型,当然如果我们采用这种方式可能会对资源分配优化的结果有些许影响,但是当待调度的服务器规模巨大时,对资源分配优化结果的影响可以小到忽略不计,因此我们将研究首先在各划分的服务器集群内部进行一次调度之后,再在各划分的服务器集群之间实施二次调度,这样我们找到了更好的进行调度优化的方案。

虽然云数据中心的服务器拥有设备采购的时间不同、使用年限周期不同以及产品品牌不同等异构性特点,但是云计算数据中心平台的服务器基本都是分批采购,同一批次采购的服务器基本都是相同型号的(资源同构),所以,云数据中心的服务器资源的同构性与异构性是同时存在的。假设数据中心服务器的异构度越大(服务器的不同型号种类数越多),则任务的调度复杂性越高;相反,假设服务器的异构度越小(大部分服务器资源是同构的),则任务调度中可等价优化处理的情况就越多。因此,我们将从定量方面分析服务器资源异构的程度大小,通过实验分析服务器资源异构的程度对任务调度优化改进性能的影响。由于云数据中心的任务调度问题从根本上讲是服务器的组合优化和调度任务的问题[9~11],如图1所示,提出了面向任务等价优化调度的问题在理论上可以转化为组合数学中的多重集组合问题,即一般的任务调度方法等价为集合的组合问题,而面向任务等价优化的调度方法可以等价为多重集的组合问题。

  

图1 云环境下任务调度体系

2)任务类型就j在各个服务器上执行的预期时间:

5.将机架i加入集合S;

 

因为不同服务器对不同类型的任务有明显不同的耗能功率和执行性能,所以,为了描述调度不同类型任务在异构服务器上执行的不同时间和能耗,分别给出任务调度预期能耗和预期时间的设定:

干燥枸杞子药材,购自北京同仁堂药店,经资阳市食品药品检验检测中心助理工程师梁巍鉴定为茄科植物宁夏枸杞Lycium barbarum L. 的干燥成熟果实。

 

我们定义了一个衡量参数△EECj/△ETCj,该参数表明在分配某任务之后该服务器电能损耗的降低值与任务调度响应时间的增加值的比值,△EECj/△ETCj越大,说明该执行任务节点的关闭操作越有效。所以,当在选取任务调度计算节点时,选取使△EECj/△ETCj比值最大的服务器节点最为合适。

2.FOR i=1 to m

在当今市场经济体制不断发展和完善的过程中,农业经济管理并没有契合前者的相关经济观念。目前,我省的农业经济管理在体制建设方面仍不能满足社会经济发展的要求,并与农业社会结构和快速发展的农业社会情况不相适应。于是,很多原本利益较好的经济管理活动在这种不健全的经济管理制度的影响下也丧失了应该发挥的作用,在我省农业生产发展过程中起到了一定的制约作用,从而导致农村经济的管理在制度建设和机制管理方面显示出很多不足,特别是在协调相互利益的过程中,这种缺陷表现得更为明显。

3 基于能效优化的任务调度算法

根据小节2,我们假设第i机架的第j个节点的情况用二维向量x(i,j)表征。节点处于活跃状态用X(i,j)用 1表征,节点被关闭或处于节能状态用0表征,机架i内活跃节点的数量用X(i)表征。以此为依据设计提出了基于能效优化的任务调度算法,如下:

输入:服务器机架数量m,计算节点数量N,EEC,TSLA输出:数据中心集群的状态X

1.初始化X=N;初始化机架集合S=ф;

许多刑事案件的被害人与犯罪嫌疑人、被告人之间冲突的爆发往往是由于双方在交往的过程中,彼此存在着个性的差异或利益分配不均衡等因素导致了矛盾的产生,而此种矛盾又没有及时得到正确、有效的处理所致。因此运用证伪思维审查被害人陈述,可以更好地通过全面认识被害人陈述来帮助办案人员排除被害人的虚假陈述,指明侦查方向,正确分析案件情况,排除被害人陈述的虚假部分,及时纠正办案过程中的偏差,节省办案资源,提高办案质量。

忙完丧事我就赶紧回屋,大梁还是冇回,今朝可是第五天了!一种不祥之感像密实的蛛网,把我牢牢地笼罩起来。这两天忙二丫的后事,心思占满了。现在腾出空儿了,这不安是一阵紧似一阵。天还冇擦黑,我们就早早吃了晚饭。我叫槐生就在屋里玩,想困了自个儿上床,就慌忙火急锁上门,朝东坡梁子奔去。

3.If EECj≤EEC

[7]陈宝生:《坚持以本为本推进四个回归--建设中国特色、世界水平的一流本科教育》,http://news.cslg.edu.cn/index/read/id/77521.

人体概念域的部分特点被投射到目标域中,依据的是两个概念域在某些方面的相似性,因此我们根据相似性在认知中的作用(黄碧蓉,2013)将人体隐喻分为三种类型:形貌相似隐喻、位置相似隐喻以及功能相似隐喻。虽然这些分类在依据上不同,但人体词语义转移的隐喻机制是类似的。

4.If ETCj≤TSLA

1)任务类型j在各个服务器上执行的预期能耗:

6.End if

7.End if

8.End for

9.IF S=m

10.程序退出,集群状态为X;

11.ELSE

12.△EECj/△ETCj比值自大的机架j,关闭其中的节点h;

13.X(j,h)=0;

14.End if

15.返回步骤2

本论文通过大量模拟实验来验证所提出的算法模型的计算能耗和计算性能,在计算节点的能耗监测问题方面,我们使用微软公司开发的Joulemeter软件来统计任务调度所消耗的电量大小,通过对收集的相关能耗数据进行深入分析。图2表明在各异的SLA条件状态情况下的云计算的能源消耗与任务调度的响应时间之间的关系。实验表明云计算的能源消耗伴随着SLA的约束条件的放宽而呈现线性下降趋势,在设定任务调度响应时间≤1200s的情况下,程序Word—Count的任务调度的能源损耗节省了大约21%,在设定任务调度响应时间≤1400s的情况下,任务调度的能源消耗大约节省了38%。可以看到SLA的约束条件放松大于一个任务节点的状态下,任务调度的能源消耗的降低了大约一半,为什么会有如此大的能耗降低呢?原因是因为在云计算中心的整个集群的利用率较低的状态下停止某些计算节点的调用运行是为了降低云计算服务器整体运行所浪费的电能消耗,但是计算节点的关闭并不是无止境的,当关闭了大量的云计算中心的任务节点后,而活跃的任务调度节点的利用率已经达到最高值的状态下,任务调度的能源消耗再也不可能进一步降低。而此时另一个重要指标任务调度响应时间伴随着任务调度计算节点的进一步关闭而呈现快速增长趋势的不良后果,实验结果显示,设计启发式算法可以比较有效地降低任务调度的能源消耗。本论文将大数据计算中心的常规任务调度模式和基于启发式算法的任务调度模式进行比较。在启发式算法应用中,我们主要研究了“covering subset”计算策略和“All—inStrategy”计算策略,其中“covering subset”可以通过关闭大量任务调度计算节点的方式来降低能源消耗,但是忽略了响应时间增大的性能问题,而“All—inStrategy”与“covering subset”计算策略相对照来看,可以达到降低更多的任务调度能源消耗的目标,然而它的应用依然存在浪费能耗值的情况。论文主要分析了启发式任务调度节点的关闭方式与“All-in Strategy”计算方法的能源消耗的情况,比较以一定长度的时间窗口为准[12~17],由任务调度计算时间和调度中的空闲时间组成,无调度任务时的维持节点活跃的能源消耗与有任务调度时的能源消耗构成。

  

图2 不同SLA要求下的能耗情况比较

参考文献

[1]章坚民,徐爱春,李海翔,等.基于SVG/XML/CIM的变电站自动化工程配置系统[J].电力系统自动化,2004,28(14):53-56.ZHANG Jianmin,XU Aichun,LI Haixiang,et al.Substation automation engineering configuration system based on SVG/XML/CIM[J].Automation of power system,2004,28(14):53-56.

[2]Zhang Jianmin,Xu Aichun,Li Haixiang et al.An Automatic Engineering Configuration System for Substation Automation Based on SVG/XML/CIM[J].Automation of Electric Power Systems,2004,28(14):53-56.

[3]Ian Foster,Yong Zhao,Ioan Raicu,Shiyong Lu.Cloud Computing and Grid Computing360-Degree Compared[M].GCE'08 Grid Computing Environments Workshop,2008:1-10.

[4]陈康,郑纬民.云计算:系统实例与研究现状[J].软件学报,2009,20(5):1337-1348.CHEN Kang,ZHENG Weimin.Cloud Computing:system examples and research status[J].Software Journal,2009,20(5):1337-1348.

[5]林伟伟,齐德昱.云计算资源调度研究综述[J].计算机科学,2012,39(10):1-6.LIN Weiwei,QI Deyu.A survey of cloud computing resource scheduling[J].Computer Science,2012,39(10):1-6.

[6]叶可江,吴朝晖,姜晓红,等.C虚拟化云计算平台的能效管理[J].计算机学报,2012,35(6):1262-1285.YE Kejiang,WU Zhaohui,JIANG Xiaohong,et al.Cvirtual cloud computing platform for energy management[J].Journal of computer,2012,35(6):1262-1285.

[7]Luiz André Barroso.The price of performance[J].ACM Queue,2005,3(7):48-53.

[8]Anne-cecile Orgerie,Marcos Dias De Assuncao,Laurent Lefevre.A Survey on Techniques forImproving the Energy Efficiency of Large Scale Distributed Systems[J].ACM Computing Surveys,2014,46(4):1-35.

[9]Anton Beloglazov,Jemal Abawajy,Rajkumar Buyya.Energy-Aware Resource AllocationHeuristicsforEfficient Management of Data Cen.

[10]Rajkumar Buyya,Anton Beloglazov,and Jemal Abawajy.Energy-Efficient Management ofData Center Resources for Cloud Computing:A Vision,Architectural Elements,and OpenChallenges[C]//Proceedings of the 2010 International Conference on Parallel and DistributedProcessing Techniques and Applications(PDPTA2010),Las Vegas,USA,2010:6-20.

[11]Junwei Cao,Keqin Li,Ivan Stojmenovic.Optimal Power Allocation and Load Distributionfor Multiple Heterogeneous Multicore Server Processors across Clouds and Data Centers[J].Ieeetransactions on Computers,2014,63(1):45-58.

[12]Goudarzi H,Ghasemazar M,Pedram M.SLA-based Optimization of Power and Migration Cost in Cloud Computing[C]//2012 12th IEEE/ACM International Symposium on Cluster,Cloud and Grid Computing(CCGrid),2012:172-179.

[13]Guenter B,Jain N,Williams C.Managing cost,performance,and reliability tradeoffs for energy-aware server provisioning[C]//2011 Proceedings of IEEE INFOCOM,2011:1332-1340.

[14]Lin M,Wierman A,Andrew L L H,et al.Dynamic right-sizing for power-proportional data centers[C]//2011 Proceedings of IEEE INFOCOM, 2011:1098-1106.

[15]Ranjan Pal,Pan Hui.On the Economics of Cloud Markets[J].Eprint arXiv,2011(3):0045,1103.

[16]Xiong K,Perros H.Service performance and analysis in cloud computing[C]//In the Proceedings of World Conference on IEEE Services-I,2009:693-700.

[17]Dean J,Ghemawat S.MapReduce:simplified data processing on large clusters[J].Communications of the ACM,2008,51(1):107-113.

 
容会
《计算机与数字工程》2018年第05期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号