1 背景

中移互联网公司的业务平台数量较多，公司大部分业务已经迁移或正在迁移至互联网公司自建南方基地数据中心，已迁移至数据中心的业务平台建立了与原有系统独立互通；但是还有一些业务平台采用传统烟囱式建设方式，硬件资源无法实现共享。互联网公司仍需对项目所需的硬件基础设施的统一规划、建设、运维，改变以往各业务烟囱式建设模式，打破系统壁垒进行资源的有效整合和共享。

随着互联网公司业务的不断发展，现有单节点建设模式无法更好满足业务需求。为了更好地提升用户体验，实现用户就近接入，互联网公司计划在北方建设新数据中心节点，新建北方节点将与南方节点互通，实现对互联网公司各业务平台的资源的统一调配和使用。

2 现有南方节点数据中心现状

目前南方节点计算资源全部采取了x86服务器，基本实现了去“I”，同时在存储资源方面构建了在线存储、近线备份及离线备份三级架构，其中，在线存储包括满足高性能数据读写需求的块存储及海量存储需求的x86分布式存储；网络资源方面采用二层扁平化组网，即从核心到接入全部采用二层组网，采用私有协议技术方案（思科链路捆绑VPC、华三集群/堆叠IRF2)。

通过摸底动员，工作小组在4月又分别召开不同层次的座谈会和户主会，同时充分发挥党员示范岗的作用，每个党员上门到联系户签订入社意向协议，最终90%村民形成入社共识。

3 现有南方节点数据中心技术分析

3.1 计算资源情况分析

现有计算资源规划时主要根据2011年服务器集采模型进行定制的，在实际使用过程中发现，现有服务器配置方式主要是按照服务器的物理形态，以2路4路、刀片机架区分高低档配置，仅对应于应用接口、业务处理、数据库、虚拟化4个应用场景，对于应用场景的区分粒度较粗，不能满足各类业务场景的精细化配置要求。

同时虚拟化服务器的宿主机物理内存配置按照集采模型进行配置，容量较小，随着虚拟机数量增多，内存最先成为瓶颈。目前计算服务器中，启用虚拟化的宿主物理机占比为比较低，虚拟化比例待进一步提高。

3.2 存储资源及组网技术分析

存储资源方面，也存在配置与需求场景不匹配的情况，出现了“豪华配置、低效使用”现象。目前集中块存储全部配置的都是高端磁盘阵列，同时全部配置了SAS盘/以上，对应用场景区分不够细，存在一定高配现象。

在实际使用中，各业务平台未按照不同应用场景存储性能需求差异如IOPS、时延、容量等规划存储资源的使用与运营，高端磁盘阵列存储了各业务系统结构化数据（不限于数据库）、及大量非结构化数据（如虚拟机镜像、业务系统日志、数据备份）。

业务平台多节点建设，首先需要对现有业务平台系统架构进行分析，确定南北各部署哪些模块及子系统，同时需要确定个业务对南北节点之间的传输时延要求。

在路面施工中会使用到较多的大型机械设备，例如摊铺机、装载车等等，这些大型的机械设备需要在施工现场进行交叉作业，设备管理的难度增大，如果调度出现问题，可能会引发交通事故。

原则上应用服务器全部采用虚拟化服务器模型（机架）进行配置，以提升虚拟化服务器的比例。

3.3 网络技术分析

在集中管理方面，现有组网技术缺乏全网集中控制平面，无法实现全网统一策略部署（如安全、QoS、互访路由等），不利于提升全网维护与配置工作的自动化水平。每台网络设备都具备自己的控制平面与数据平面，但是整个数据中心缺乏集中控制平面。

传统二层扁平化组网导致故障域范围过大，容易影响全网稳定性。现网通过VDC/MDC虚拟化技术（1虚N）将一对物理核心交换机虚拟成DMZ区、业务区、存储区核心交换机， 各区域核心交换机与共用接入交换机之间存在二层环路，造成二层故障与洪泛波及全网范围，如图2所示。

现网组网结构要求核心交换机与接入交换机之间的二层链路需要透传大量VLAN，随着VLAN数量的快速增加，生成树实例也会不断增加，容易形成二层逻辑端口性能瓶颈。 第N条链路透传VLAN数量示意图如图3所示。

图1 FCOE与FC SAN组网对比

圣家堂和我以往看到的大教堂不一样，它在庄严肃穆中透着灵动诡异，在雄伟壮丽中透着细腻柔美，好像一幅矛盾又和谐的画徐徐展现在你的面前，让你见之不忘，不得不折服于高迪的想象力和感悟力。整个教堂长95米，宽60米，尖塔18座，塔高170米，有三个风格迥异的立面。东面是圣诞立面，描绘了上帝之子耶稣诞生时众神相互庆祝的场面，雕刻精致，最上面用站满鸽子的树代表“和平”。在它的西面，则描绘了耶稣即将被赐死之前的犹大之吻，以及耶稣被吊在十字架上的悲哀场面。东西两个立面渲染的气氛完全不同，建筑雕刻手法也并不相同。而第三个立面还在建造中。

教学风格指教师教学活动的特色，是教师的教学思想、个性特点、教学技巧在教育过程中独特、和谐的结合与表现。教学风格的形成是教师在教学艺术上趋于成熟的标志。教师的教学风格是建立在丰富的教学经验之上的，同时它还要求教师在教学中体现出与众不同的教学个性和对教学艺术的不断追求，一般而言，教学资历较长的教师更容易形成独特、稳定的教学风格。教学风格是教师经过长期教育教学实践而形成的符合自身个性的教学艺术[11]。它是区别不同教师的鲜明特性，也是教师实践性知识最具个性、最显性的表征形式。

现有数据中心采用的增强型二层技术进行组网。

图2 二层故障泛洪示意图

图3 第N条链路透传VLAN数量示意图

4 北方节点数据中心建设方案

为了更好提高用户体验，实现用户就近接入，互联网公司将在北方新建数据中心节点。

近线备份资源配置相对高成本、高性能的虚拟带库类设备，定位1-6个月“温”数据备份，但现网使用中等同于离线备份设备使用、全备备份策略不合理存储资源除了在配置方面存在一定的问题，组网方面也需要改进。目前存储组网只有一种方式及基于FCOE的组网方式。FCOE与FC SAN组网对比如图1所示。

北方节点继续推进基于x86的分布式存储技术，同时对现有业务场景进行分析，得出8类场景、5类模型，如表2所示，存储选型时结合此模型进行选择。

4.1 计算资源建设方案

通过对北方节点业务场景的分析，规划由前期的4个场景、 4类服务器模型，细化扩展至10个应用场景、8类服务器模型,表1列出各类型服务器使用场景描述。

在存储资源监控方面，现网未建立起健全的存储闭环监控体系，存储资源监控流程部分缺失、无法有效提升精细化运维：存储监控指标除存储资源可用性、及存储容量划分/使用情况外，还需支持监控已分配存储资源的IOPS、读写比例、读写块大小、吞吐率等指标，系统上线后，支持反向评估资源使用合理度。

4.2 存储资源建设方案

通过对南方节点数据中心现有技术的分析，基于新技术发展及南方节点数据中心运营现状，新数据中心节点计算与存储领域将采取按照分场景、分模型进行资源配置、提升运营效益与投资效率；网络领域引入SDN等新技术，消除二层扁平化组网带来的诸多问题。同时根据对业务平台南北节点的网络需求，南北节点现阶段只需要通过三层互通。

现有核心交换机横向扩展能力有限，目前组网技术核心层仅支持2台交换机，基本能够支撑2 000～3 000台x86规模数据中心建设，不能够满足中远期超大规模数据中心建设。

各类型药物对临床医学检验结果均有明显影响，如平痛新、消炎止痛药物，用药下有助于胆总管开口痉挛情况缓解，提高血尿淀粉酶寒凉，当药物发挥药效达到3～4 h，用药效果将极为明显，为检测带来一定难度。再如维生素C，服用有检验患者尿液，可发现葡萄糖、胆红素均为假阴性。而奎宁药物应用，检验中患者尿蛋白可能存在假阳性情况。具体剖析不同种类药物，包括抗菌药物、解热镇痛药物、激素类药物、利尿类药物、抗癌类药物等，这些药物用药下，对患者临床医学检验结果均有极大影响。

确定了存储技术的选择，接下来需要进一步确定存储组网技术，结合存储分类及业务场景需求，存储组网技术选型方案如表3所示。

4.3 组网技术建设方案

通过对南方节点组网技术的分析，北方节点根据数据中心组网技术的演进，将逐步引入SDN和NFV技术。

4.4 云管理平台建设方案

由于现有互联网公司云管台能力不完善，随着北方节点的新建，需要按照OpenStack架构改造现有资源池管理平台，解耦形成云管理平台、形成管理平台二级架

构，如图4所示，实现对南北方节点的统一管理，并预留与总部云管理平台统一视图接口。

马鞍山路高架桥连接合肥老城区与合肥滨湖新区，是合肥市内南北向的主干道。高架桥主梁采用现浇预应力混凝土连续箱梁，箱梁为斜腹板形式；与地铁车站重合段主梁采用连续钢箱梁，其基础直接坐落在车站顶板上，并通过车站立柱将荷载传递至立柱下桩基。车站两端区间采用盾构过站。

表1 各类型服务器使用场景描述

应用场景 服务器模型 适用场景描述应用三层架构表示层（接入层） 应用服务器 适用于前端Web Service、Java Middleware等对存储容量要求不大的展现层、逻辑层、接口层的应用业务逻辑层数据访问层——数据库 数据库服务器 主要适用于数据库应用数据访问层——文本文件等 存储型服务器 适用于大容量分布式存储大数据处理大数据处理 分析型服务器 MPP、业务平台话单处理、内存数据库、消息过滤处理等对计算性能要求较高的应用分布式计算（Hadoop） 分布式服务器 分布式计算/存储，大数据分析，大文件缓存等场景缓存加速大文件加速小文件加速 缓存服务器 对I/O需求较高的缓存类应用，如 CDN/Cache小文件、分布式缓存、内存数据库等虚拟化 虚拟化应用 虚拟化服务器 适用于服务器虚拟化、桌面云、大数据分析等场景其它 高可靠应用 高可靠性服务器 适用于对可靠性要求较高的核心系统应用

表2 存储分级分场景配置模型

?

表3 存储组网技术选型方案

?

图4 云管理平台架构图

5 结论

互联网公司现有南方节点数据中心经过多期建设，已逐步实现从烟囱式建设方式变更为统一数据中心建设方式。随着互联网公司业务不断发展，现有南方节点数据中心单节点建设方式无法全面保障对业务的支撑，为了更好地提升用户体验，实现用户就近接入，需要逐步引入多个数据中心节点的建设。

农垦已经建立起了以大机械深松为主体，翻、耙、旋、起、压相结合的秋季耕整地习惯，农垦土地可以做到隔年全部深松深翻，合作社隔年深松深翻达到85%，农民散户比例很低。相比于合作社和农户无深松基础的“春整地”，“秋整地”实施深松联合整地，具有以下优点：一是打破犁底层增强土壤通透性加深耕层；二是改善耕地的理化性质，培肥地力，保持土壤有机质，提高水、肥、气、热的连通性，增强土壤蓄水保墒；三是增强作物抗逆（抗旱、抗涝、抗倒）能力，减少病虫害的发生等优势，解决了制约大豆良好生育的土壤环境。