0 前言

当前，大数据、云计算、智能互联等前沿信息科学技术已广泛应用于我国工业生产领域，面对国际经济社会发展新形势、国际能源应用及全球环境问题新形态，在新能源生产应用行业，构建区域化、规模化的“大数据+清洁能源”智能管理互联网，已成为必然趋势。

新能源大数据系统平台的建设流程主要包括数据集成、数据存储、数据挖掘计算、业务应用这四个主要阶段，在该流程中融合数据采集、分布式存储、多类型建模计算、数据挖掘、一体化搜索、可视化展示等信息技术实现数据分析、处理、安全保护的基础平台支撑，构建符合新能源企业特点的智能化建模分析及数据使用模式，支撑当地新能源产业发展及应用推广需求。

新能源大数据系统平台的建设实施，主要涉及以下几个关键过程及技术。

1 集成网络及综合数据采集

构建覆盖企业乃至区域行业的高速数据传输网络是新能源大数据系统平台完美运行的基础。通过以实时数据库、关系型数据库、NOsql型数据库为核心进行物理布局，按照企业关键数据源生产装备的分布情况及重要性等级，进行合理规划。例如以风电为例，考虑依托硬件接口机采集设备与现场控制系统进行互联，实现数据采集，然后通过底层交换机汇总至区域数据汇总服务器。各数据服务器作为独立的区域数据存储个体，再通过硬件/软件防火墙进行安全隔离后经过核心汇聚交换机统一传输至实时数据库、应用服务器、WEB服务器等顶层应用数据库设备中存储使用。同时，该层顶端可设计为扩展能力强、管理方便、成本最优的磁盘阵列柜，为后续系统运行过程中产生的海量数据提供长期、稳定的存储空间，也为各个复杂数据模型、工具的运行提供必要保障。

网络拓扑结构示例如图1所示。

新能源行业均为7*24小时不间断运行工业企业，因此每天产生的数据量是极为庞大的，存储单位基本以TB甚至是PB为存储单位。例如常规SCADA系统按采样间隔3～4S/单测点计算，10000个测点每年将产生12B/帧*0.3帧/S*86400s/d*365d*10000点=1.03TB。

图1 网络拓扑结构示例

而对于数据挖掘分析层面，主要采用分类、聚类、关联分析、异常检测、回归分析等类别的算法进行高效精准计算，通过对大数据分析结果进行关联性数据挖掘，以业务需求目标为动力，对大量统计结果进行过滤和提纯，有侧重计算出不同业务需求形态下的数据分析结果。利用这一系列相关算法和技术从海量数据中提取出为业务服务所需要的信息数据，并将隐藏在数据背后的信息价值，从概念、模型、业务规律、数据既定原则等形式加以呈现。

2 多样化数据集成及分布式综合存储管理能力

在网络线路基础上，重点构建数据综合实时采集体系。这也是实现大数据在线分析的基础。以光伏发电企业为例，主要数据采集设备包括逆变器和智能电表等设备，一般采用485方式通讯，并通过防逆流采集箱采集并网配电室的并网功率等，用于防逆流。数据采集层使用通讯网关采集设备数据，通讯网关采用嵌入式Linux操作系统，具有功耗低、性能强、长期工作稳定的特点。通讯网关各类数据的同时，还会将采集到的数据根据设备协议进行解析，并保存到实时数据库中，通讯网关通过工业交换机与位于厂房屋顶的无线AP进行通讯，并将数据通过无线WIFI网络上传到监控中心服务器。

基础数据及挖掘分析结果具备后，最终需要通过统一的信息管理平台发布以面向用户使用。该平台可采用C/S架构或B/S架构搭建，属于整个系统体系的核心。该平台部署主要包括监控服务器、操作员站和工业交换机。以光伏企业实施为例，监控服务器、操作站及位于光伏监控室楼顶的通讯层的工业无线AP通过工业交换机连接，采用以太网通讯，监控服务器通过无线WIFI网络与通讯网关通讯，采集通讯网关采集到的逆变器、汇流箱等数据，并保存实时数据库中，进行逻辑处理，并保存到历史数据库，实现WEB发布及数据上传功能。操作员站用于通过与监控服务器通讯，实现人机界面展示与交互。

面对这些数据的分散性、多样性及复杂性特征，通常可选用ETL作为企业数据集成的主要解决方案。即数据的抽取、转换、加载，并依据具体需要进行一定功能扩充，如加入工作流、规则脚本、数理统计等。数据抽取是从设备的散状源数据系统提炼目的数据源系统需要的数据信息；数据转换是将这些数据按照业务需求转换成需要形式，并对错误、不符合要求的数据进行逻辑清洗加工；数据加载则是将处理后的数据加载传递到目的数据源。

毛竹林平均胸径不仅能直接反映试验效果，而且也是评价毛竹林质量和毛竹经济价值的一个重要指标[7-12]。调查结果表明：经3种不同肥料尿素、生物有机肥、钢渣肥处理，新竹的平均胸径分别为10.5、11.1和11.2 cm，相较于原林分老竹平均增长0.6、1.1和1.4 cm。将施肥前后不同施肥处理下的林分胸径进行独立样本T检验，结果显示(表2)，林分在施入尿素后，林分胸径虽有增加但并未达到显著水平(P=0.294>0.05)；而施入生物有机肥(P=0.018<0.05)和钢渣肥(P<0.01)后竹林胸径明显增加，其中钢渣肥效达到极显著水平。

(4)文中所述钻进取心工艺针对性较强，其它区域类似地层钻进取心可将之作为参考，但最终还是得根据现场实际情况选择最合理的钻进取心工艺。

同时，由于传统数据库在数据存储规模、吞吐量、处理速度等方面存在瓶颈，因此新能源大数据平台建设需配套引入Hbase等分布式存储系统。该类系统具有良好的扩展性和协同性，其存储的数据表多为无模式的，适用于视频、音频这一类的非结构化数据。

另外，在新能源大数据系统建设中，关系型数据库仍是不可或缺的核心。对于新能源企业，标准型结构化数据(如电量、压力、流量、速度等)仍然是应用数据的主体。针对这部分信息，构建传统的Oracle、Sqlserver型数据库进行存储管理，仍然非常重要。

存储方面，因为数据类型的多样性，可采用传统关系型数据库与分布式文件系统、分布式数据库结合应用的模式进行管理。其中分布式文件系统主要应对语音、视频、图像等非结构化数据，通过将数据存储在分散的多个存储节点上，再对这些节点资源进行统一管理分配，并向使用者提供文件系统安全访问接口。目前大数据领域较为主流的应用工具为Hadhoop旗下的HDFS分布式文件系统。

我国涂料行业在不断蓬勃发展的同时，也带来了巨大的VOCs排放量。涂料与涂装行业是工业源中的重点行业，VOCs排放量占整个工业源的21%，占整个VOCs来源的12%。2017年，我国涂料总产量2 041万t，其中：建筑涂料产量为679万t，95%以上实现了水性化；工业涂料产量为1362万t，受应用要求、水性树脂合成技术和涂料配方工艺等技术制约，80%以上仍为溶剂涂料，因此成为VOCs的重要排放源，排放量约达到800万t。涂料生产过程中产生的有害VOCs主要包括苯类、酯类、酮类、醇类等有机物，具体包括苯、甲苯、二甲苯、三甲苯、乙酸丁酯、乙酸乙酯、甲基乙基酮、丙酮、甲醇、乙醇、异丙醇、乙二醇等。

3 维度数据深层挖掘分析

依托泊苷/达卡巴嗪进入WHO儿童药物基本目录治疗儿童霍奇金淋巴瘤有效性、安全性和经济性的循证快速评估…………………………………………………… 陈 敏等（19）：2593

结合企业运行需求特点，实现数据的多维度深层挖掘分析，是大数据系统的核心。目前主流数据处理技术包括技术分流处理、批处理、内存计算、图计算等。这些技术都具有高效、快速处理海量数据的能力，并将自动并行、负载均衡、灾备管理等处理机制进行一定程度的封装隐藏，不仅简化后续的理解、开发工作，便于集群拓展，同时大幅减少数据通信传输过程中的冗余动作。

针对无线采集应用方式，为了最大程度保证系统可靠性、通讯稳定性及降低成本，可以采用无线工业Mesh网络。该网络是基于无线iMESH网络技术的无线以太网产品，在多重跳台、高数据吞吐率、快速漫游、自组网自恢复方面都有优越的性能。该无线网络使用IEEE802.11n进行通讯，理论最大传输带宽为300兆，所使用的产品全部支持MIMO技术（MIMO技术特点将两条无线通路进行捆绑带宽翻倍），在主干和需要大带宽的传输路径中可增加带宽保障数据传输的稳定和可靠。因此，采用无线工业Mesh网络完全满足光伏监控需要，并且最大程度降低施工风险。

4 高效友好的综合管理信息展示发布平台

另外，通常企业的大数据结构复杂、种类繁多，除了传统的结构化数据之外，还包括大量的半结构化、非结构化数据，如视频数据、语音数据、图片数据等。这些数据的采样频率与生命周期也各不相同，按照业务需求区分，可能从微秒级、分钟级、小时级，一直到年度级。因此，整体的系统数据存储处理量就尤为客观。

马云：这个承诺是基于中美友好合作，双边贸易理性客观的前提提出的。当前的局面已经破坏了原来的前提，已有承诺没有办法完成了，但是我们不会停止努力，会努力推进中美贸易健康发展。

针对新能源企业特点，该平台功能模块主要包括数据实时监测、业务指标在线分析、统计电子报表生成、数据曲线分析、数据回放、异常状态分析、在线声光报警、短期趋势预测等功能模块。通过直观图形(例如结合GIS定位的地理图形展示)、曲线、数据对比等方式逐层递进的直观显示行业区域、企业全局、独立设备产线等不同单位的综合生产运行情况。

虽然基于匹配追踪法的信号分解方法能够对信号进行很好的分解，但是针对某些信号，不难看出，在信号整体时间区间内依旧出现了计算出了负频率。若出现在端点处，可以通过周期延拓方式解决；若出现在时间区间中段，则可以通过改变子波种类，提升字典性能解决。

对于视频、图像等非结构化数据的应用，除了传统的在线监视，还可以通过与结构化数据结合，模型化重现机组设备的历史/当前运行工况，并支持任意调用历史时间段内的画面回放，为故障事故分析、设备检修保养以及后续阶段的生产组织规划提供必要的分析决策依据。

另外，基于移动设备端的系统应用模式也是一个主要途径，该种展示方式主要通过手机APP软件实现。该类型软件可以实现一定程度的功能定制，可以将用户关心的企业设备实时运行功率、周期性发电量、节能减排量、设备顺行率、当地环境检测指数等主要参数进行集成在线分析、显示，并以数据、曲线图、柱形图等各种方式进行显示。在具备登录口令的前提下，用户可以在任意互联网环境下进行快速访问，查询所需信息。同时对于一些要求进行快速处理的报警信息、统计数据，也可以通过手机终端软件实现。

5 结语

通过构建新能源大数据系统平台，可以从信息化层面有效推动地方清洁能源产业的深度发展，实现传统管理模式向信息数字化在线分析管理模式的转变，最大化提炼企业数据价值，使大数据平台作为承载行业企业发展的重要基础。

参考文献

[1]曹军威,袁仲达,明阳阳,等.能源互联网大数据分析技术综述[J].南方电网技术,2015,9(11).

[2]刘世成,张东霞,朱朝阳,等.能源互联网中大数据技术思考[J].电力系统自动化,2016,40(8).

[3]张鹏,高青,等.大数据环境下的能源互联网发展趋势分析[J].媒体技术,2015,11.

[4]邵玮,欧宜鹏,丁逸峰,等.大数据技术的发展现状和应用前景[J].科学与财富,2014(9).

[5]董晓霞,吕廷杰.云计算研究综述及未来发展.北京邮电大学学报,2010,12(5).