基于DCOS与AMP监控运维企业私有云平台研究应用
引言
互联网+时代,企业信息化亟待对IT 资源全面实施和整合,并能够做到即需即用和按需分配,对安全性能提出新要求。私有云(Private Clouds)因建立于企业内部,故其安全性得到更好的保证,并能得到更高的服务质量。现阶段,虚拟化技术的广泛使用,更为云平台提供便利,企业往往利用云平台的搭建,使自身的IT 建构模式得以改进,抛弃传统的模式,提升IT 基础架构效率。
网络数据中心操作系统(DCOS)作为轻量级 PaaS云解决方案,通过其规模大、功能全,并能跨数据中心,因此,成为新的一代容器云平台。其特点是对业务需求能做到动态响应,提高运维效率,减少运维费用,优化配置 IT 服务与各项性能。在企业搭建 PaaS云,需实现容器技术等一系列新技术,对企业的运维要求大大提高,彻底改变了传统的运维方式和工具,使得新的运维流程、工具和人更加成为核心,主动优化、服务导向运维模式更加的明显和重要。
1 系统需求分析
本文以企业为载体,对企业进行私有云平台规划及设计,以研究私有云平台的建设对企业带来的效率提高和管理提升。以生命周期法实现企业私有云数据中心的系统需求分析,对DCOS 进行功能设计、接口设计及模块层次结构设计,重点就系统应用管理功能、资源管理功能、告警和监控功能及平台管理与权限功能进行设计。对AMP 监控运维项目的系统管理功能模块、配置管理功能模块、监控告警功能模块进行系统设计,包括功能描述、数据库设计、流程逻辑设计等,建立适合企业的私有云平台。
企业私有云平台含DCOS项目系统及AMP 监控运维项目,本DCOS云平台为轻量级DCOS解决方案,目的是解决功能全、规模大、跨数据中心新容器平台的需求。云平台需要以本项目的业务需求及投资策略为基础,对现有和相关资源设备进行动态调整,提升资源的利用率,并能提高企业工作效率,解放企业运维人员。并需实现低运维成本、高运维质量,使资源设备及各项服务最大优化。同时,AMP 监控运维平台需实现高扩展性及IT平台自动化运维,提供AMP的各种插件,做到对基础设施及各项应用的管理及监控。
根据企业的实际,对私有云数据系统展开需求分析,提出平台的建设目标,设计原则及软件需求描述,提出平台系统的功能需求,包括云管理平台,自动化运维需求、代码库管理、镜像仓库等。
从应用纬度、资源纬度、健康纬度三个方面来描述整个DCOS 平台及其组件、在平台上的容器的基本信息和状态信息。应用纬度为统计现在已建的应用、服务、容器数量信息并进行资源预估。资源纬度为统计现有的主机资源及其性能信息。健康纬度为监控现有DCOS 相关平台组件的运行状态。
1.1 DCOS云平台主要实现功能需求
(1)自动化部署
DCOS云平台在部署新服务操作中,依据自动化部署模块应能集中对数据中心自动安装部署,实现自动“分发”服务到整个集群。
二是开展健康河湖监测。利用传统和信息化技术手段相结合的方法,对河湖跨界断面、重要水功能区等重点河湖的水文、水环境、水生态、水安全进行动态监测,监测数据信息纳入河湖长制信息化平台系统,实现河湖流域水量、水质、水生态和水域面积变化情况、岸线开发利用状况等问题的主动发现、预警,确保问题及时发现、及时上报、及时处理。
(2)弹性伸缩
这天,杨力生心情特别愉快。晚上九点多钟,看看孩子已睡熟,杨秋香正准备脱衣服睡觉,他凑过去,张开两臂便要拥抱她,杨秋香双手用力将他推开,脸上很是不高兴的样子说:“去去,我身体不舒服。”杨力生以为她身体真的不舒服,也就没往心里去。
平台对CPU、内存等关键设备的使用率等容量指标负载监控,依据系统设定的策略和阈值,实现弹性伸缩,调整设备资源和服务。当业务高峰到来时,自动增加资源投入,在业务低谷时,减少资源投入以压缩成本。
维修程式一直是维修相关研究中最为活跃的领域。得益于信息化技术的发展,收集、运用车辆的故障、性能以及维修信息来开展维修策略优化的研究和应用已成为行业共识。
(3)自动化调度,故障自愈
海外游客获取蜀冈-瘦西湖风景名胜区旅游信息的途径主要来自于旅行社,占64.4%,网络、电视、报刊介绍占12.5%,亲友介绍占10.4%,其他媒介占12.7%.参加旅游团这种出游方式成为海外游客的首选,占70.4%;与朋友或同学一起出游的次之,占10.4%;商务旅游和家庭出游的分别占8.3%和5.5%;而独自一人出游的背包客占0.8%;其他占4.6%.出于安全、方便、可靠等因素的考虑,海外游客也会选择团体包价旅游,由旅行社组织游览.数据表明,蜀冈-瘦西湖风景名胜区海外游客以团队游为主,散客和家庭出游较少;结伴旅游及商务旅游增长势头强劲.
一旦平台部分节点出现问题,DCOS云平台应能实现自动化容灾切换,自动上线和替换到其他可用节点,同时,相关数据能同步迁移到新容器内,即实现故障自愈功能。
家长需要明确一个认识,与孩子共同阅读的时光,是成人找回童年、重温童年、弥补和提升自我认识的绝佳机会,也是父母和孩子亲子交流的宝贵时光。这个过程,不仅让孩子觉得阅读是温馨的、有趣的,也增进了亲子之间的感情。这是“活态”的亲子阅读形成的前提和基础。
(4)细粒度的资源分配
DCOS云平台调度资源形式为容器,其细粒度达到0.1个CPU,1M 内存,因为资源分配细粒度精确,故可以充分提升资源的使用率。
DCOS云平台解决方案如图1所示。
云管理平台:
(1)管理平台
管理平台层面上各个功能组件,包括:管理面板,持续集成,资源配置等。
(2)应用层
应用层管理和搭配各个业务 APP Container。
本文关注和应用于企业规划的私有云的搭建,以企业现有的IT 基础设备为基础,使用企业系统规划法建立企业的私有云平台,优化配置已有的IT环境,使得企业实现长远的可持续发展,通过企业私有云的搭建,为企业构建一个动态的IT 资源配置中心,较好的支撑迅速扩张的业务需求,提升企业运作效率,为企业可持续发展提供保障。通过私有云平台建设,能够解决企业的一系列问题,达到以下效果和目的:
sys_* 为系统模块的库表;app_* 为业务管理模块的库表;AMP_* 为对接 AMP 系统模块的库表;ect_* 为告警相关的库表;jen_* 为持续构建模块的库表; res_* 为资源管理模块的库表。
(4)资源管理
资源调度、分配、高可用管理,包括物理服务器,虚拟服务器,容器资源,基础资源等。含各种基础资源管理:一是物理机管理;二是虚拟机管理;三是容器资源管理。
1.2 自动化运维需求
(1)部署应用
将应用打包成 Docker,仓库中提取镜像,发布DCOS。
模型优化步骤,采用卷积神经网络算法,基于训练样本进行机器学习,……,经过多次迭代后,获得优化后的辅助诊断模型;
(2)组建集群
组建标准配置集群节点,组建集成(CPU、内存等)资源池。
(3)统一监控
图1 DCOS云平台解决方案Fig.1 DCOS Cloud Platform Solution
(6)代码库管理
(2)资源功能模块:主机控制、集群功能、镜像仓库等;
监控监测到应用并发超限,自动扩张实例数量。可指定运行容器的数量范围;可指定容器数量扩缩的触发条件;可指定扩缩的频率、每次变更的容器数量。
(5)自动恢复
平台监测底层服务器故障,自动在健康服务器上恢复丢失的业务实例。
面向硬件、虚拟化、中间件、数据库、应用提供统一监控。监控总体资源使用情况;监控虚拟服务器资源使用情况;监控应用资源消耗情况(包括中间件、数据库);监控容器资源消耗情况。
从静态看盘去分析个股有没机构活动?或有没新资金进怎么看。1、看多日K线看量能变化;2、看分时走势表现;3、看盘中成交明细;4、多日分时走势连贯分析。
支持 SVN、GitHub、GitLab3 种代码库。
3)为促使成花,环剥环切过重,伤口愈合不好,营养输送受阻,造成树势过弱,发生腐烂病、早期落叶病,进一步恶化树体营养环境,这是造成苹果发黄不上色的重要因素之一。
(7)镜像仓库
部署管理Docker镜像仓库,管理应用镜像分类、版本及项目归属。
图2 DCOS 管控平台程序结构图Fig.2 Program Structure Diagram of DCOS Control Platform
图3 应用管理功能模块主要流程Fig.3 Main Processes of Application Management Function Module
图4 资源功能模块操作Fig.4 Resource Function Module Operation
2 系统功能设计
以云数据中心需求分析为依据,以云平台开发关键技术为基础,进行企业私有云 DCOS 设计,包括网络体系及功能设计、接口设计、各个应用功能设计(包括应用管理功能、资源管理功能、告警监控功能、平台管理与权限功能模块)、数据库设计及界面优化设计等。
对AMP 监控运维系统设计,分为系统管理设计(含用户组管理、用户管理、数据源管理、菜单管理、界面管理、组件管理及域管理等),配置功能设计(模板/主机、业务组、代理主机、机器类型、预警扣分管理功能等),以及监控告警设计、数据库设计、界面设计等。并提供了AMP 提供 DCOS 平台相关接口设计。
数据中心操作系统(DCOS)是为整个数据中心提供分布式调度与协调功能,实现数据中心级弹性伸缩能力的软件堆栈,它将所有数据中心的资源当做一台计算机来调度。本平台以开源技术 Mesos、Marathon、Docker、HAProxy 为引擎,在其上开发了DCOS 控制台、资源管理模块、鉴权模块、弹性扩缩容调度模块、监控管理模块、持续集成平台。
DCOS的功能框架如下:
(1)DCOS 总览;
(4)横向扩展
(3)监控功能模块:监控数据采集、日志功能、告警功能等;
(4)弹性扩缩容调度模块:基于CPU使用率、内存使用率、服务并发数等容量数据,通过定制的调度算法实现服务的自动弹性扩缩容;
(5)鉴权模块:用户管理、用户组管理、权限策略管理和统一认证接口;
《船舶贸易与经营》的教学多以教师课堂讲授的方式为主,学生的学习主要按照教师的教学安排进行。课堂互动较少,学生参与度不高,不仅大大打击了学生的学习兴趣和热情,还降低了课堂教学效果和质量[1]。
(6)持续集成平台:镜像构建、集成测试、流程管理和上线管理。
DCOS 平台模块层次结构设计如图3-1所示。
本文重点研究的两部分包括DCOS云平台及AMP 监控运维平台,本DCOS云平台为轻量级 PaaS解决方案,具备支持微服务架构集群管理,有利于形成功能全、规模大、跨数据的容器平台,实现友好资源设备管理功能,为高并发下性能实现及安全稳定执行提供保障。
树篱和农舍虽然在奥斯汀的作品中不如庄园那般引人关注,却同样是作者细致描绘出的英国乡村景观中的重要一笔。英国乡村在议会圈地运动中在政治、经济、社会阶层等方面发生了翻天覆地的变革,奥斯汀虽然以男女爱恋婚嫁为主题,却通过乡村景观的细致描绘真实地记录了这些变化,并隐晦地透露出自己地态度。
应用管理功能模块主要流程如图2所示。
采用SPSS 21.0统计学软件对数据进行处理,计量资料以“±s”表示,以P<0.05为差异有统计学意义。
资源功能模块操作如图3所示。
在系统设计和软件、硬件需求基础上,对私有云平台进行集成,进行了部署与实现。对AMP 提供DCOS 平台接口进行讨论,给出了部署前准备工作,包括网络环境检查、YUM 源配置、NTP 配置、防火墙配置等,接着对DCOS 平台进行安装部署、对AMP 平台安装部署,以实现私有云的相关功能。
3 数据库操作与设计
数据库软件采用 mysql 5.7,系统建立的数据库名称为dmp。设计的范围包括系统的基本表、关联表。数据库模型设计工具使用 powerdesigner 16。mysql 数据库支持 source file 方式的数据导入方式,dump的数据导出方式。
3.1 结构设计
(1)数据库用户创建
创建数据库用户的sql 脚本,代码如下:
帕克太阳探测器就这样被制造了出来。为什么将它命名为“帕克”呢?这是为了向太阳风科学研究的奠基者,天文学家尤金·帕克致敬。尤金·帕克是一位仍然健在的宇宙科学家。以健在科学家的名字命名一只太空探测器,是太空探索史上的首次。可见,尤金·帕克对太阳风的研究是卓有成绩的。
熹又蒙垂谕,深以士大夫之朋党为患,此古今之通病,诚上之人之当疾也。然熹尝窃谓朋党之祸,止于缙绅;而古之恶朋党而欲去之者,往往止于亡人之国。盖不察其贤否忠邪,而惟党之务去,则彼小人之巧于自谋者,必将有以自盖其迹,而君子恃其公心,直道无所回互,往往反为所挤,而目以为党。……愿丞相先以分别贤否忠邪为己任,其果贤且忠耶,则显然进之,惟恐其党之不众,而无以共图天下之事也;其果奸且邪耶,则显然黜之,惟恐其去之不尽,而有以害吾用贤之功也。不惟不疾君子之为党,而不惮以身为党;不惟不惮以身为党,是又将引其君以为党而不惮也。[10]1243-1244
create user 'root'@localhost identified by 'Shsnc_db_001';
(2)数据库例程创建
创建数据库的sql 脚本,代码如下:
create database dmp default character set utf8 collate utf8_bin;
(3)角色授权
角色授权的sql 脚本,代码如下:
grant select, insert on dmp.* to 'test'@localhost;
3.2 运用设计
(1)数字字典设计
表的命名设计,以所属功能相关的英文功能的缩写为前缀:
服务层组成包括平台管理(含用户、角色、权限和菜单管理),服务功能(含应用平台、服务和容器功能),镜像功能(仓库功能、版本模块、归属功能),安全模块(角色模块、权限模块)。
(2)安全保密设计
通过角色权限分配限定操作者的权限。
其数据表构成如表4-1所示,因为涉及表格及字段较多,因此,挑选主要表格及字段来描述。
4 应用效果
(3)服务层
(1)减少硬件投入费用
建设云平台可将硬件成本费用降低一个数量级,具体减少费用额度因企业需求差异而不同。但减少硬件成本费用确是真真实实存在的,同时可以使得硬件利用率最大化。
(2)缩减软件成本
云计算软件成本缩减主要在软件版权使用上,实施云技术后,企业无须为每一台设备采购版权,采购数量可以大大减少,其他设备可以通过共享来工作,因此,缩减软件成本达到最大化。
(3)节省物理空间
由于硬件投入的减少,存放服务器、电脑等空间可以减少,这对于寸土寸金的现代都市,减少企业的物理空间将会节省更多的费用,费用的减少等于增加了企业利润。
(4)实现实时监控
云平台的使用可以实现员工随时随地办公,条件仅为一台移动设备,使用手机等均可对各员工工作进行检查和监控,全面掌握企业的最新状况,提高企业工作效率最大化。
(5)企业更大的灵活性
云平台具有更强灵活性,企业能根据自身业务量的大小来灵活调整,因此,业务的多少调整起来更灵活和简单,使即需即用成为可能。
(6)缩减 IT 支持成本
因云平台投入硬件数量减少,网络及计算机系统配置简化,进一步降低运维人数和强度要求,达到IT运维和支撑投入变得最少。减少运维人员支持费用也相当于提高企业利润。
(7)增强企业安全
云平台更好的保障企业的安全,因为好多企业无法确保每一台电脑均在安全监控下,而云计算机正是能解决这个问题,云计算能带来企业更加完善、专业的服务,保障企业数据及软件安全。
表1 管理系统数据库设计表Table1 Management System Database Design Table
说明AMP_container id,container_id,slave_ip,operate_type,app_id,app_name,is_success,create_time,update_time表名 属性主键,容器id,主机名,类型:1新增,2修改,3删除,应用id,应用名,是否成功1成功0失败,创建时间,更新时间app_application id,name,description,create_time,update_time 主键,应用名,应用描述,创建时间,更新时间ect_service_alarm id,alert_id,alert_time,alert_lever,alert_type,alert_conunt,create_time id,告警ID,告警时间,告警等级1 提示 2 预警 3 警告 4 严重 5致命,告警类型1:告警 2:恢复,连续告警次数,创建时间res_host id,ip,cpu,mem,status,create_time,update_time id,Ip地址,CPU,内存,主机状态,创建时间,更新时间sys_user id,name,account,userpwd,telephone,email,status id,名称,账号,密码,电话,邮箱,使用状态sys_role id,name,status id,角色名,角色状态
5 结束语
本文以企业系统规划法(BSP)为前提,对企业的云数据中心 DCOS和监控运维系统 AMP 实施规划、功能需求分析和设计。实际证明,BSP 方法对本文建设的私有云平台规划时是行之有效的,在此基础上进行功能描述、总体设计思路、数据库设计、流程逻辑设计等。以知识型企业为建设应用对象,实现了较为复杂的信息化及系统管理要求。通过建设云平台来实现资源共享,减少硬件投入费用,缩减软件成本,节省物理空间,实现实时监控,使企业更大的灵活性,缩减IT支持成本,增强企业安全。
[1]张学利,王志辉,宋震,吴彬,周超,张凌波,顾德清.基于云平台的自然资源资讯信息共享系统[J].科研信息化技术与应用,2018,9(03):64-70.
[2]侯金奎,鹿旭东,陈春雷,王磊.基于模型驱动的Web应用服务系统开发理论框架[J].小型微型计算机系统,2018(10): 2345-2352.
[3]彭康华,黄裕锋,姚江梅.多种人工智能算法的数据库技术课程自动组卷比较[J].计算机系统应用,2018,27(03):210-216.
[4]姜雨彤.项目驱动下IT企业人力资源规划系统开发[D].北京交通大学,2017.
[5]狄晓娇.基于Java的企业员工管理系统的系统分析与设计[J].信息系统工程,2017(05):53.
[6]Hyalij Bhushan A.,Gondane Parikshit S..System Analysis and Design Flexibility in the Approach Based on the Product Definition[J].International Journal of Computer Applications,2010,1(20).
[7]李勇, 秦拯, 相中启, 刘鹤飞.云环境下一种隐私文件分类存储与保护方案[J].计算机应用研究,2018(11): 3445-3449.
上一篇:机构信息化评估与评价的研究