1 引言

近年来，各种各样的云平台层出不穷，基于云平台的应用也在急剧增长，云计算给社会和国家带来的利益更是不言而喻。随着云计算的广泛应用，数据中心的规模也在不断扩大[1]，亚马逊、谷歌、阿里巴巴、HP等巨头公司都拥有自己的云平台，这些云平台拥有的数据中心节点少则上万台，多则上百万台。据资料显示，亚马逊构建了全球最大的云计算平台，数据中心的节点已经多达200万台，并在持续扩大。然而，随着数据中心规模的扩大，数据中心集群能耗也在急剧增长。事实上，在实际生产中，能耗成本占数据中心总体拥有成本（Total Cost of Ownership，TCO）的很大一部分。据统计，2015年全球数据中心的用电量占世界总用电量的1.1%～1.5%，而我国数据中心耗电量约为1.0×103TWh，相当于三峡水电站一年的发电量。在过去的十年里，虽然使用了虚拟化技术，数据中心服务器的使用率却一直持续稳定在12%～18%之间，浪费了绝大部分电量。

2.结果评价和过程评价相结合，突出过程评价。在学生活动过程中，有意识地收集和保留学生的活动资料（如活动方案、活动计划、作品草稿及作品等），让学生结合这些材料自我反思的同时，教师需要进行实时跟踪评价，最后结合学生的最终学习成果，设计多维度的评价量规，规定学生的表现等级。

针对上述问题，研究者们做了大量研究。Leverich等人在文献[2]中首次提出了关闭部分节点以节约集群能耗的思想。他们对Hadoop集群中节点的状态进行统计分析，发现大量节点在很多时候都处于非活跃状态，节点的CPU利用率非常低，于是通过关闭部分节点来节约集群能耗，但他们并没有考虑集群性能问题。Kaushik等人在文献[3]中提出了一种能耗感知的异构集群数据放置方法，第一次将HDFS集群分为热区和冷区两个部分。热区用大量高性能的服务器存放访问率高的热点数据，冷区用少量大容量服务器存放访问率低的数据，并通过将冷区服务器设置成非活跃的低能耗模式来节约数据中心的能耗，但热区消耗的电量远超过冷区，他们并没有提出针对热区服务器的能耗管理策略。

基于云计算虚拟化环境的虚拟机动态整合技术是一种节约数据中心能耗的重要技术。该技术通过将轻负载的虚拟机有效整合到少量物理服务器上运行，并关闭空闲的物理服务器来节约集群能耗。李俊涛等人在文献[4]中提出了一种基于布朗指数法的虚拟机动态整合方法。文中采用布朗指数平滑法建立预测模型，并通过主机的历史负载数据来预测CPU的使用率，进而确定需要迁移的虚拟机和其目的主机，以此来合理配置数据中心资源和节约能耗。但文中并没有考虑虚拟机过度整合问题，资源的有效整合并不是往最少数量的服务器上装满负载或保证每个服务器的资源得到100%的利用，这样有可能达不到节能的效果。

建立能耗模型对数据中心能耗进行评估预测是很多能耗感知资源调度方法的研究基础，对数据中心能耗管理具有重大意义。宋杰等人在文献[5]中分别针对单机环境和云环境中的CPU密集型、I/O密集型、交互型运算提出了相应的能效计算方法和优化方法，并指出云系统能效利用率有很大提升空间，而研究任务的调度和执行算法是最有效的方法，为接下来的能效优化研究提供了借鉴。

能耗感知资源调度是目前数据中心常用的节能方法。黄庆佳在文献[6]中提出了一种能耗成本感知的云数据中心资源调度机制，从大规模并行化任务处理能耗、虚拟机动态整合能耗和跨地域多数据中心能耗成本三方面解决数据中心能耗最小化问题。此外，改进的蚁群算法、神经网络算法、遗传算法等也被广泛地用来解决该类问题。

以上总结的方法具有交叉性，可以多种方法结合使用以达到节能的目的。例如房丙午等人将虚拟机迁移技术和能耗感知资源调度技术相结合，提出了一种基于二阶段迭代启发式算法的能耗和性能感知的调度算法以节约数据中心能耗[7]。

Ceph[8]是一个分布式文件系统。Sage等人针对Ceph集群提出了CRUSH算法，CRUSH算法是一种伪随机Hash值散列算法[9]，通过计算来确定要存储数据的OSD位置，进而决定数据的存储位置。与传统的元数据机制相比，CRUSH算法消除了中心式的服务器/网关需求。沈良好等人在文献[10]中对Ceph集群数据布局在节能方面的不足进行了分析，提出了一种Ceph集群的多级能耗管理策略。他们将集群节点分为多个功耗组，通过关闭部分功耗组来节约集群能耗，但功耗组的划分粒度很大，很难达到最大限度节能的目的。

本文针对Ceph集群能耗问题，提出了一种能耗管理策略。建立了一个系统能耗优化模型，并在该优化模型的基础上提出了一种Ceph集群的数据副本放置策略，使得云平台在满足用户SLA需求和保证服务质量（Quality of Service，QOS）的前提下，达到尽可能节约数据中心能耗的目的。最后，在真实的Ceph集群环境中验证了该方法的有效性。

2 Ceph集群数据存储原理

Ceph是由Sage等人提出的一个分布式文件存储系统，因具有统一存储（块存储、对象存储、文件存储）的特性及高扩展性、高性能、高可靠性，而得到工业界的广泛青睐。Ceph集群主要由监视器MON、对象存储设备OSD、可靠自治分布式对象存储（Reliable Autonomic Distributed Object Store，RADOS）、Librados库、块设备（RBD）、RADOS网关接口（RGW）、元数据服务器（MDS）、CephFS组成。MON监视整个集群的健康状态，Ceph集群中的所有数据都是以对象的形式存储的，RADOS负责保存这些对象，它是Ceph集群存储的基础。Librados是访问RADOS 的库，支持PHP、Java、Ruby、Pathon等多种语言。而RGW仅用于对象存储，MDS和CephFS仅用于文件存储。因本文重点解决Ceph集群数据副本存储带来的能耗问题，所以下面详细介绍了Ceph集群数据存储过程。

当Ceph客户端有写请求时，客户端首先向MON提出创建新用户和认证请求，认证通过之后，MON会将集群状态图Cluster Map发送给Ceph客户端,客户端经DATA STRIPING过程将数据分成很多碎片strinpings，这些碎片会按照一定的方式组成一个或多个64 MB（若不足64 MB，就用字符0填充）的object对象，并用Object ID唯一标识。然后生成一个RBD并指定一个Pool ID，接着利用CRUSH算法将Object映射到PG中，然后根据PG Name、PG、Rule规则和CRUSH算法将PG映射到集群的OSD中，最后将要存储的PG存储在主OSD中，主OSD负责将剩下的数据副本写到次OSD中。当该PG的最后一个副本成功存储到OSD中时，OSD会向Ceph客户端发送一个存储完成报告。一个主OSD和多个次OSD组成该PG的活动集（Active Set），当活动集中的主OSD出错时，一个次OSD会被设置成主OSD。活动集中各个OSD之间可以相互通信，当其中一个OSD出错时，会有一个Peering过程来重新平衡数据，而该过程是由主OSD负责的。整个数据存储流程如图1所示。由于CRUSH算法是一种伪随机Hash算法，且Ceph有自动平衡数据的机制，所以当集群稳定时数据总是尽可能均匀地存放在集群中。

  

图1 Ceph客户端数据存储过程

  

图2 运行区机架逻辑部署图

3 问题描述

Sage等人在提出Ceph分布式文件系统时，特别注重系统的性能和吞吐量，对于集群能耗问题并没有作太多的考虑。数据中心服务器的利用率非常低，而CRUSH算法是一种伪随机算法，加之Ceph集群的自我平衡机制，Ceph总是尽可能地将数据均匀存放在集群的物理节点中，这就必然导致了很多服务器的负载都非常低，因此集群中的许多资源都处于空闲状态。Ceph作为云平台的存储系统，如何合理有效地利用Ceph集群的资源以达到节能的目的，正是节约数据中心能耗需要做的重点工作。

服务等级协议SLA是数据中心供应商和客户签订的一项重要协议，其中包含了机房环境、业务正常运行时间、系统响应时间、网络带宽等重要指标，本文在以降低数据中心能耗为目标的同时，综合考虑这些重要指标，将TSLA表示为用户要求的应用完成限制时间。

3.1 能耗计算模型

大量研究表明[11-14]，CPU的使用率与数据中心的能耗成正相关关系。磁盘作为文件系统的存储媒介，所产生的存储能耗占到整体能耗的65%[15]，很多研究者都建立了磁盘能耗模型来预测数据中心的能耗问题，为精确的能耗管理技术奠定了基础[16]。本文通过监控集群中节点的CPU和磁盘的使用率来调节整个Ceph集群的状态，并且以用户应用程序所要求的完成时间TSLA作为参数，建立能耗模型，然后基于该模型提出了一种数据副本放置策略，使得Ceph集群在满足用户SLA需求和保证用户QoS的前提下，有效降低Ceph集群的能耗。

其中X为决策变量、Pmin为目标函数、s.t.为约束条件。A为节点的计算能力参数矩阵，B为用户的TSLA矩阵，W为TSLA调整参数，Pmin指Ceph集群的最小能耗，为集群状态矩阵，为的元素，φn表示的附加节点，η为启用待机区服务器产生的能耗。具体的参数含义和求解过程将在3.2节中介绍。

假设Ceph集群分为运行区和待机区。两个区的服务器分别位于不同的机架上，待机区的Ceph节点用来应对应用高峰期的极端情况，所以待机区的节点大多数时间都处于待机状态。运行区有a个机架，机架Racki用 Ai(1≤i≤a)编码；待机区有b个机架，机架Racki用Bi(1≤i≤b)编码。每个机架中有m个集群节点，将运行区中的机架进行分组，k个机架为一组，若最后一组不足k个机架，则用(k-a%k)个虚拟机架（虚拟机架中节点的计算能力为0）补足，则整个运行区中的机架被分组。运行区机架的逻辑部署如图2所示，最后一台橙色的机架表示虚拟机架。用aij(0≤i≤k,0≤j≤L)表示对应机架At(t=L×(i-1)+j)中一台服务器的计算能力参数，该数据可从集群的监控平台读取。虚拟机架中的服务器计算能力参数设为0，即图2中aLk=0。假设系统有n个应用程序需要执行，每个应用程序对应的里的 K 是一个常数系数，可以根据TSLA的大小来调整，而TSLA指用户应用完成限制时间。令：

 

步骤4根据新得到的集群状态图修改crushmap的内容，并将新的crushmap应用于Ceph集群中。

 

为提高实际测量过程中CO2气体传感器光能利用率,本文将采用CFD软件ANSYS FLUENT模拟仿真不同腔长下,扁锥体CO2气体传感器红外辐射效率,确定腔体最佳结构参数。具体步骤为:PROE建立模型、ICEM划分网格、FLUENT参数设置、初始化并迭代计算、最后查看分析CFD计算结果[14,15]。考虑到一般情况下,室内空气中的CO2气体浓度较低,本文选取了0～2 000×10-6的CO2气体作为模拟仿真测量对象,并设置扁锥腔体的锥角为5°,根据TPS2534尺寸设置探测面内径为1 cm,腔体厚度为0.1 cm,ANSYS FLUENT模拟仿真过程的示意图如图3所示。

3.2 问题描述模型

集群中CPU和磁盘的使用率与系统能耗问题始终是一个很难平衡的问题。如果关闭的节点太多，虽然能大大减少系统能耗，但也会使得集群的吞吐量严重下降；如果关闭的节点太少，虽然保证了系统的吞吐量，但却达不到大量节能的目的。因此，集群能耗最小化问题是NP-hard难题，又由于集群中各个节点的计算性能不同，因此集群最小化能耗问题属于NP-hard问题中的线性组合优化问题。该类问题的求解是上个世纪的难题，到目前为止研究者们已经提出了许多算法能很好地求得该类问题的解，如背包算法、模拟退火算法、遗传算法等[17]，但不同的算法有不同的优势，应用中可根据自己的实际情况选择合适的算法求得能耗模型中决策变量X。

农民面临的主要挑战是，满足超市供应链设定的数量、质量、品种、周期等要求。此外，农民必须要处理在超市供应链中用到的销售地点和支付系统问题。由于当地生产商没有足够的能力来满足这些要求，目前超市供应链内进口的数量约占超市需求的30%左右。超市供应链的需求和小农场主供应之间的差距可能会因为两个原因而增加。首先，由于更多的投资投入连锁超市(如进入本地区的沃尔玛和DR-CAFTA)，预期供应链中新鲜水果和蔬菜的市场份额将在未来几年继续保持增长。其次，如果小农户不调整自己的生产和销售系统来响应超市供应链的要求，他们将被更大的生产商或外国供应商所替代。

得到方程组AX+W=B的解X，将X与矩阵A的每个行向量作相与运算，便可得到放置用户数据后的集群状态矩阵A*，由于引入了TSLA调整参数W(-1＜W＜0)且取值尽可能的小，故得到的 X为不等式AX≥B的最优解。即在满足用户SLA需求的情况下，要开启的最小节点数为果只开启Tmin个节点，相当于在不做任何处理的基础上，关闭了大量的节点，那么在大规模并行处理时集群的吞吐量和数据可用性会严重下降，为了保证Ceph集群的服务质量，下文提出了一种数据副本放置策略。

4 副本放置策略

数据副本放置策略是影响数据中心能耗的重要因素，良好的数据副本放置策略能够有效地降低数据中心的能耗[17]。本文基于第3章提出的集群能耗模型，提出了一种数据副本放置策略。Tmin已经解决了用户的SLA问题，因此在此基础上的副本放置问题主要考虑Ceph集群数据的完整性和容错性。

Ceph集群有replicated和erasure两种类型的存储池pool，前一种是基于纯数据的，后一种是基于纠删码的。本文提出的是基于纯数据的PG副本放置策略。假设一个应用程序有R≥3个PG副本需要存放，hostm为该PG的主OSD所在节点，Ai(1≤i≤a)为hostm所在机架。将其中一个PG副本存放在与hostm相邻的节点中，然后以Ai为中心，将另一个PG副本存储在与其左右相邻的s个机架中，假设该机架为。主机架 Ai（PG的主OSD所在机架）的数据恢复域（Data Recovery Field，DRF）为 ϕi(t)={A t|i-s≤t≤i+s,t≠i} ，它总是关于主机架对称，以此来保证数据恢复过程中的数据传输时间，而又体现了数据存储的随机性。极端情况下，为了应对高峰期，数据的PG副本数R可能大于3，那么将剩下的R-3个PG副本随机存放在待机区节点的OSD中。集群副本放置策略如图3所示，其中Region1为运行区，Region2为待机区。

用于酿造果酒的猕猴桃均为新鲜成熟果实，果实外观良好，色泽均匀，质量为80～100 g（中果）。分别是红阳（1#）：产地四川都江堰；海沃德（2#）：产地四川都江堰；徐香（3#）：产地陕西眉县；翠香（4#）：产地陕西眉县；秦美（5#）：产地陕西眉县；金艳（6#）：产地四川蒲江。

5 实验对比分析（系统评测）

宾夕法尼亚州立大学的Shekhar Srikantaiah教授针对数据中心的资源利用率和能源消耗问题做了实验，他指出当磁盘利用率超过50%，CPU利用率超过70%时，计算机消耗的能量将随着磁盘使用率的增大而急剧上升[18]，这就会导致磁盘的单位I/O能耗值(单位I/O能耗值=加，使得集群能效下降。考虑集群能效问题，实验基于3.2节中的最小开启节点数目Tmin以及上章提出的数据副本放置策略，只将服务器的一半磁盘用作OSD，将节点的CPU平均使用率控制在70%左右。当在Ceph Calamari中监控到节点参数超出这个范围时，就把该服务器的计算能力置为0，那么由3.1节的能耗模型可知，将不会有新的数据存储到该节点上。另外，由于Ceph集群有自我平衡的特性，将会严重影响该实验的进行，所以在该实验中，通过修改Ceph集群的配置文件，关闭了Ceph集群的自动平衡功能。

  

图3 集群副本放置策略

5.1 实验环境

为了验证和评估该策略的有效性，在Ceph集群环境中进行了实验测试。实验中使用了13台戴尔R710服务器。服务器的部署环境如下：运行区包括a=12台物理服务器；待机区包括b=1台物理服务器；运行区和待机区的服务器分别放在不同的机柜中，以便从IDC室的UPS中读取耗电量。为了更真实地模拟异构集群环境，在服务器上运行了占用不同服务器计算资源的虚拟机，并在集群中添加了3台交换机（S3352P-SI 48口），将运行区的服务器分开放在6个机架，则k=2，L=6；每个机架中放置了m=2台服务器。服务器采用Centos7 64位操作系统，所使用的Ceph版本为Jewel（10.2.5），数据副本数为3。用FIO测试软件测试集群的吞吐量，用Ceph Calamari监控Ceph集群状态，包括集群CPU使用情况、节点平均负载和集群IOPS等。整个Ceph集群的逻辑部署如图4所示。

  

图4 Ceph集群部署逻辑图

5.2 实验过程

OSD是Ceph集群中的主要能耗组件。针对运行区，假定服务器的平均功耗为Q，由A和X可得集群副本放置状态图第4章提出的数据副本策略需开启的集群节点数目为表示恢复域中的另一个附加节点。在没有启动待机区服务器的情况下，当前状态下的集群的总能耗为：

 

其中n（0≤n≤N且n为整数）表示用户SLA请求批次。

防治方法：（1）每亩用2.5%敌百虫粉2公斤喷粉或甲六粉1公斤加细土10公斤撒毒土。（2）用90%晶体敌百虫150克加水80～100公斤喷雾。

item osd.8 weight 0.010

算法步骤如下：

步骤1输入TSLA，即用户应用完成限制时间，得到B=1 000/TSLA,其中 K=1 000 。

步骤2从calamari中读取CPU的使用率，并计算节点的CPU平均使用率，得到A。

步骤3由能耗模型计算出W和X，将A的行向量与向量X相与，得到集群状态图A*。

item osd.31 weight 0.010

优化模型的基本形式如下：

步骤5计算出当前集群总能耗p。

步骤6用FIO压力测试工具，模拟不同的负载，进行集群性能测试。

青藏高原(Qinghai-Tibet Plateau)由于海拔高、温度低、干旱多风等因素，生态环境条件十分恶劣[1-2]，适合植物生长的时间较短。青海西宁市位于青藏高原东北部，地处湟水及三条支流的交汇处。呈东西向条带状，地势西南高、东北低。四周群山怀抱，南有南山、北有北山。属大陆性高原半干旱气候，年平均日照为1 939.7 h，年平均气温7.6 ℃，最高气温34.6 ℃，最低气温-18.9 ℃，属高原高山寒温性气候。保证和提高高原地区城镇绿化造林质量，是改善青藏高原地区生态环境的主要环节[3]。

当有新的用户应用需求时，重复步骤1～6。

本文的具体实验过程如下：对运行区的服务器进行测试，向Ceph集群中存入40 GB数据，数据的pg副本数为3，开始时，可设，其中 Rack7和Rack8是虚拟机架，假定第一个用户的应用完成时间TSLA=500 s，则 B1=(2 ,0)T，此时由能耗模型中的式（2）可解得：X1=(0 ,0,1,1)T，W1=0，由 A1和 X1可得 A*1=，根据该计算结果，仅将Rack3和Rack4中的所有服务器和机架Rack2中的1台服务器切换到运行状态，并将隔离域设置成host，其他机架中的服务器仍然处于待机状态，由于此时运行区的大多数节点都处于待机状态，所以待机区的节点不需进行状态切换。可将crushmap的内容做如下修改：

gRoot setA1{

item osd.11 weight 0.010

alg straw

hash 0

报文监控主要通过定时检查省级传输目录下有没有本台站规定时效内上传的报文,如果没有就发出报警信息,市级短信报警系统发现该报警信息后会自动往值班手机或指定的负责人手机发送提醒短信。图3是软件检查报文传输状态的流程。

（1）由于中职学生的学习能力非常薄弱，尤其是自学能力，几乎不具备。因此，学生在信息搜查阶段，特别是理论知识储备方面的自学，能否具有实效性，有待考究，下面的学习，我会引导学生自学，也会及时检验学生自学的效果。

item osd.0 weight 0.000

…… ……

item osd.7 weight 0.000

Wnt信号通路在平滑肌细胞迁移的病理生理过程中也发挥重要作用[26]。在Wnt经典信号通路中的β-catenin蛋白聚集于细胞质中，同时可聚集到细胞膜上，这些膜蛋白在细胞与细胞黏附间起作用[27]。当Wnt信号通路激活时，细胞质中β-catenin蛋白解离，在细胞核附近通过TCF/LEF上调cyclin D1；细胞膜上的β-catenin蛋白解离，可降低细胞间的黏附作用[28]。这一机制很好地解释了血管粥样硬化时平滑肌细胞在增殖的同时发生迁移的现象。

实践教学是高校教学环节的重要组成部分，它的独特功能和作用，是其它教育环节无法替代的，高等学校实践教学是在教师指导下，学生在特定的环境中,通过自身努力完成教育目标的教学过程。通过实践环节教学，可以加深对课程理论教学内容的理解；给学生提供实践与理论相结合的空间，提高学生对知识学习兴趣，增强学生自主学习的积极性；提高学生的实践动手能力；启发学生高昂的创新意识。安徽理工大学电气工程及其自动化专业实践教学内容主要包含有课程实验、认识实习、生产实习、课程设计、实训、毕业设计与毕业实习、创新能力拓展项目等。

…… ……

其他危险货物（带包装）装卸采用起重机械进行吊装（装卸船），叉车搬运，危险货物（包括包装物）不在码头（港区）堆放停留。

id-1

item osd.12 weight 0.000

…… ……

item osd.15 weight 0.000

item osd.16 weight 0.010

…… ……

1.3.2 不良反应评价 患者的不良反应包括放疗引起的不良反应和化疗引起的不良反应，放疗引起的不良反应主要包括骨髓抑制（白细胞、血小板减少等）、患者皮肤黏膜改变和胃肠道反应等；化疗引起的不良反应主要包括骨髓抑制（白细胞、血小板减少）、消化道反应（如恶心、呕吐、腹泻、口腔溃疡等）、毛发脱落、血尿、免疫功能减低，容易并发细菌或真菌感染等。分析对比两组患者的不良反应发生情况。

item osd.32 weight 0.000

…… ……

贵冶智能工厂的建设是根据贵冶对应用系统功能的需求，结合贵冶生产管理现状、信息化建设现状、两化融合现状为基本出发点，从总体架构和具体实现上进行整体设计，搭建出可实施落地的、符合贵冶的智能工厂框架。

item osd.52 weight 0.000

}

然后将此rule规则应用到Ceph集群，分别将数据存放在第3个和第4个机架中的两个节点和第2个机架的第1个节点中，其中2号机架为附加机架，可以计算出此时的集群能耗为4 400 W 。以此类推，当有新的应用请求时，重复以上操作便可得到对应的集群能耗。限于篇幅，现给出不同TSLA请求时，各个机架中节点的平均CPU的使用率统计情况，如图5所示。将不同TSLA请求下模型中的各参数值列于表1中。

  

图5 各机架中节点的CPU平均使用率

5.3 实验对比及分析

经一个月的数据统计，服务器忙时的平均功耗大约为500 W，空闲时的平均功耗为200 W，可以计算出两种情况下对应OSD的平均能耗大致为125 W和50 W。在优化前和优化后，分别从Ceph集群中存储40 GB数据，数据的恢复域S=2，在用户不同TSLA请求的情况下，监控集群的运行情况。图6是处于运行状态的OSD个数对比图。

  

图6 集群中运行的OSD对比图

图7为采用第3章的能耗优化模型计算的集群能耗和采用该数据副本放置策略前后的实际集群能耗对比图。从图7中可以看到，当集群稳定时，用优化模型计算的能耗值与采用优化数据副本策略所产生的实际能耗值基本保持一致，且误差率100%)维持在6%左右，因此，使用该能耗优化模型，能很好地预测集群能耗的走向，进而方便对集群能耗的控制和管理。

 

表1 能耗模型各个参数

  

?

  

图7 集群能耗对比图

图7中，随着TSLA值的增大，节约的能耗由少变多再变少。这是因为，TSLA=500 s时，集群的负载太小，优化前和优化后集群中的节点产生的能耗都很少，所以节约电量的效果并不明显。此外，计算时采用了节点能耗的最大值来计算，难免存在误差。而当1 000 s＜TSLA＜2 500 s时，集群的负载适中，节点可调节的空间很大，所以优化前和优化后耗电量的差值增大，能耗节约效果明显。而当TSLA=2 500 s时，集群的负载临近上限，所以当又有TSLA=3 000 s的用户请求时，集群的能耗几乎不再增加。从图6中也可以看出，当TSLA=2 500 s时，集群中运行区的所有节点都已经处于运行状态，这就说明集群可调整的空间特别小，所以节约的能耗值偏低。从以上的分析中可得出一个结论：当集群稳定且TSLA值适中时，采用该优化数据副本放置策略的效果较好，节约的耗电量可达到14.3%，而当服务器节点本身的能耗越大时，节约的耗电量会高于这个值。

响应时间是一个衡量集群服务质量和性能的重要指标，它是满足用户SLA需求的前提条件。若响应时间太长，必定会增加应用的完成时间，用户的SLA需求就得不到保证。但由于关闭了集群中的部分节点，集群的性能和服务质量必将受到影响，因此要控制集群的响应时间，以保证集群的服务质量，这也是不能关闭太多服务器的原因。本文采用FIO压力测试软件对集群进行了模拟测试。图8为采用该数据副本策略前后的集群响应时间对比图。包括顺序读和随机读，实验数据大小均为40 MB。

  

图8 集群平均响应时间

从图8可以看到，集群采用该策略后，顺序读取数据的响应时间增加了3.1%，而随机读数据的响应时间反而变少了。由此可以看出，该数据副本放置策略在对集群的服务质量影响不大的情况下，对集群能耗问题进行了优化，有效降低了数据中心能耗。

6 结束语

本文针对数据中心巨大的能耗问题，对系统进行建模，并在此基础上提出了一种基于Ceph集群的数据副本放置策略，最后在Ceph集群环境中验证了该策略的有效性。实验表明，该能耗管理策略，能在对集群服务质量影响不大的前提下，有效减少集群能耗，达到了优化集群能耗的目的。而如何有效利用待机区节点，实现数据和应用的迁移，是将来要做的工作。

参考文献：

[1]周品.Hadoop云计算实战[M].北京：清华大学出版社，2012：10-11.

[2]Leverich J，Kozyrakis C.On the energy （in） efficiency of Hadoop clusters[J].ACM Sigops Operating Systems Review，2010，44（1）：61-65.

[3]Kaushik R T，Bhandarkar M.GreenHDFS：towards an energyconserving，storage-efficient，hybrid Hadoop compute cluster[C]//International Conference on Power Aware Computing and Systems，2010：1-9.

[4]李俊涛，吴小开.基于布朗指数法的虚拟机动态整合方法[J].计算机工程与应用，2016，52（7）：56-61.

[5]宋杰，李甜甜，闫振兴，等.一种云计算环境下的能效模型和度量方法[J].软件学报，2012，23（2）：200-214.

[6]黄庆佳.能耗成本感知的云数据中心资源调度机制研究[D].北京：北京邮电大学，2014.

[7]房丙午，黄志球.云计算中能耗和性能感知的虚拟机优化部署算法[J].计算机工程与科学，2016，38（12）：2419-2424.

[8]Weil S A，Brandt S A，Miller E L，et al.Ceph：a scalable，high-performance distributed file system[C]//Proceedings of the 7th Symposium on Operating Systems Design and Implementation，2006：307-320.

[9]Weil S A，Brandt S A，Miller E L，et al.CRUSHR：controlled，scalable，decentralized placement of replicated data[C]//Proceedings of 2006 ACM/IEEE Conference on Supercomputing.Tampa，USA：ACM Press，2006：367-378.

[10]沈良好，吴庆波，杨沙洲.基于Ceph的分布式存储节能技术研究[J].计算机工程，2015，41（8）：13-17.

[11]Ren C，Wang D，Urgaonkar B，et al.Carbon-aware energy capacity planning for datacenters[C]//2012 IEEE 20th International Symposium on Modeling，Analysis&Simulation of Computer and Telecommunication Systems（MASCOTS），2012：391-400.

[12]Feller E，Morin C，Leprince D.State of the art of power saving in clusters and results from the EDF case study[D].Institut National de Recherche en Informatique et en Automatique（INRIA），2010.

[13]罗亮，吴文峻，张飞.面向云计算数据中心的能耗建模方法[J].软件学报，2014（7）：1371-1387.

[14]Kontorinis V，Zhang L E，Aksanli B，et al.Managing distributed UPS energy for effective power capping in data centers[C]//2012 39th Annual International Symposium on Computer Architecture（ISCA），2012：488-499.

[15]孙鉴，李战怀，张晓，等.基于统计量的存储系统磁盘功耗建模方法研究[J].计算机研究与发展，2016，53（7）：1517-1531.

[16]Pinheiro E，Bianchini R.Energy conservation techniques for disk array-based servers[C]//ACM International Conference on Supercomputing，2014：369-379.

[17]邢文训，谢金星.现代优化计算方法[M].2版.北京：清华大学出版社，2005：113-208.

[18]Srikantaiah S，Kansal A，Zhao F.Energy aware consolidation for cloud computing[C]//Proceedings of the 2008 Conference on Power Aware Computing and Systems，2008：1-5.