智能电网“多源”大数据处理方法优化

智能电网“多源”大数据处理方法优化

丁小叶 张乐

国网江苏省电力有限公司南通供电分公司 江苏 南通 226000

摘要：随着高新技术的出现，国家电网逐渐在向智能化发展，现如今的国家电网智能化发展已经有了一个不小的成就，但是还需要不断的改进，为了更好的促进国家电网的智能化发展，本文在阅读已有研究内容的基础上，通过分析智能电网“多源”大数据处理的方法，深入了解智能电网数据处理的需求，根据企业的实际需求情况，优化设计了智能电网“多源”大数据的处理系统，实现智能电网业务板块的可视化，促进企业发展。

关键词：智能电网；大数据；智能报表；可视化

0引言

“十四五”规划指出，国家需要重点发展高新技术产业，实现产业创新发展，重点扶持国内新兴产业，智能化发展一直是国家未来发展的趋势和方向，电网智能化发展是现如今众多学者、专家、技术人员研究的热点问题之一。王晨^[1]等以电梯安全为例，利用大数据技术，对现有的技术进行深入挖掘，提出了数据采集在多源大数据处理中占据中国要的地位，是大数据处理不可缺少的一部分，大数据处理部分包括了处理、分析以及挖掘等部分，多源异构数据处理，可以为电网的稳定运行提供数据支持和理论支持；陈世超^[2]等研究了现阶段多源异构数据处理的新技术，现阶段的数据结构处理面临着挑战和机遇，大数据处理需要与设备管理、业务发展等共同进行，才能进行综合性的处理，达到优化大数据处理模式的方法；傅磊^[3]等主要研究了多源数据采集的一些方法，利用LabVIEW编程技术可以将系统运行的状态以及系统设计的参数，后期运行需要的数据等，进行综合整理和归纳分析，最终将数据处理的方式进行优化，达到节约时间，减少资源浪费和人力投入的一些不需要的支出；汪俊亮^[4]等利用云端技术，与边缘端协作，以达到多源数据的处理的需求，利用云端技术还可以保证数据的安全性，数据保存的完整性等；王瑞杰^[5]研究了电力系统的多源数据处理，从设计模式开始，设计出一个多源数据处理的系统框架，利用多源异构数据ETL处理模型，优化了电力调度系统的数据处理方式，操作更为的便利，可视化程度和智能化程度都有所提升，基于上述的研究内容，本文中主要优化设计并解决了企业在面临数据处理分析中存在的问题。

1智能电网“多源”大数据处理

多源异构数据处理最主要的目的是为了方便用户查询自己需要的信息，方便外界人员更直观的查看电力系统的数据，有效地促进电力系统的稳定运行，最主要的目的是将源数据进行整理、归纳和总结，通过云计算与大数据处理的方式 ，这些数据处理成可直观展示的数据表或数据图^[6]，这样大大的方便了用户减少数据检测的时间，用户能在更快的时间内查询到自己所需要的数据信息，同时电力系统的数据信息更加的透明化，在数据处理技术方面，国内外都有了长足的进步^[7]，各大学者利用数据处理系统、利用数据处理软件、利用数据分析技术 ，与高新技术相结合，实现了多源数据综合处理，众多研究中，不仅要解决数据间的差异性，还要通过整合与调整，将具有差异性的数据进行整合处理。

总结归纳之后，现有的多源数据处理方法，一共有三种，分别是数据复制法、模式集成法以及结合性方法^[8]，基于大数据的多源数据处理，研究还属于起步阶段，多源数据的处理方法，还需要不断的优化，现主要介绍以上三种多源数据处理的方法。

1.1模式集成方法

在该方法中用户依据多数据源中的数据视图融合而成的全局数据模式来访问各个数据源中的数据，该方法需解决多源异构数据处理过程中的数据源与全局数据模式之间映射关系以及基于全局数据模式的数据查询问题，其中映射关系可以有效地消除数据间的异构性。在模式集成方法中，具有代表性是中间件集成法和联邦数据库，但是这两种方法自身都存在不足，中间件方法对中间件系统依赖性较高且仅适合读取数据，扩展性差，而另一种方法中全局数据模式的构建方法复杂度较大且不易扩展^[9]。

1.2数据复制方法

为了保证数据的一致性和多源数据共享的效率，该方法将各数据源中存在的相关数据复制到其中一个数据源中，其可以有效的减少对各数据源的访问量，从而提高系统运行和处理的性能。基于 xml 的多源异构数据集成方案和数据仓库方法是常见的数据复制方法，其中，基于 xml 的多源异构数据处理方案是在一定程度上采用数据复制的思想^[10]。但是，对海量多源异构数据而言，该方法不利于多源异构数据的集成和融合，而且在数据更新和数据删除等方面数据处理能力较弱。

1.3综合型集成方法

为了提高基于中间件系统的性能，该方法将模式集成方法和数据复制方法结合使用，采用一种虚拟的数据模式视图和数据复制技术。对于用户复杂的数据访问请求，综合型集成方法采用虚拟模式视图的方法访问数据，而对于简单的请求，该方法一般使用数据复制的方式。

现阶段的数据结构处理面临着挑战和机遇，大数据处理需要与设备管理、业务发展等共同进行，才能进行综合性的处理，达到优化大数据处理模式的方法，多源异构数据信息的处理需要不断的进行改进，传统的数据处理方式，已经不能满足智能化的发展，因此还需要不断地创新，多源数据处理的过程可以简单的总结为，数据的抓取与收集，数据的整理与分析，数据的检索与应用等三个部分，数据的快速整理分析和抓取，实际上在整个运行过程中，还需要一定的时间，在技术支持的层面也需要一定的创新，想要更加值观的感受到数据信息使用的便捷性和透明性，减少使用数据浪费的时间，下文就以多源大数据处理中存在的问题出发，对电网的源数据系统进行优化，本系统优化的现阶段的目的主要是实现报表的一键生成，增加可视化操作，直观展示多源数据处理后的结果，便于用户的使用，快速搜索到需要的信息，以直观的方式展现出来。

2智能电网“多源”大数据处理中存在的问题及要求

2.1智能电网“多源”大数据处理中存在的问题

2.1.1月初工作量大且数据处理繁杂

统计工作涉及业务部门较多，数据的分类、来源、时间等不一致导致每月需要花费大量时间编制各类统计报告，并且其中大部分为机械、重复性工作。

2.1.2人工易出错但精度、时效要求高

各统计报表表内、表间数据有着大量交叉关联关系，同时因人员易出错实际会增加人工核对补录环节，统计流程变长难以满足日益提高的时效、精度要求。

2.1.3现有数据价值未能充分提炼

每个报表都有相应维度的专业统计数据，目前并未通过数据整理、清洗、关联分析等手段挖掘数据价值，也无法进行数据深度分析展示。

2.2智能电网“多源”大数据处理要求

2.2.1智能报表、报告

对运检、电厂、营销、调度等5个业务类，7个业务系统进行梳理，汇总提炼出36个“源”表，并开发“一键生成”功能模块，自动生成21个报表、6个分析报告，将统计人员从高重复、低附加值的操作中释放出来。

2.2.2综合数据查询

使用多元采集、数据治理、数据挖掘等技术手段，对各报表业务相关的数据进行清洗、汇总、挖掘处理进而构建电网运行、规划、投资等X类数据模型，提供图表综合查询分析功能，支撑规划计划决策。

2.2.3可视化分析

通过数据可视化分析手段来辅助电网公司洞察出数据价值，实现用户与数据的交互，方便用户控制数据，将大规模、高纬度的数据以可视化形式进行多维度全景展示。

3智能电网“多源”大数据处理方法优化设计

3.1平台开发与总体结构

为了优化智能电网的多源数据处理方法，在设计总结结构的时候，根据企业的实际需求，主要从三个层次进行，分别是应用层、能力层、支持层三个方面进行优化数据处理系统，其中应用层包括了报表、报告自动生成、大屏综合展示、数据综合查询的几个主要的内容，为平台的系统数据处理提供了优化的方向；能力层包括了数据融合与分类存储、数据挖掘、智能统计、模板管理四个主要的基础技术；支持层主要包括两个权限，一个是统一权限服务SSO、以及安全管理，另外还包括视图层（文件导入存储/智能报表模型编排模块）、控制层（业务分发模块）、业务逻辑层（多协议解析/元数据建模/多维度数据分析模块）、数据服务层（数据库接口/数据持久化/数据存储）等四个数据源。具体总体的结构见图1所示。

图1：总体结构

3.2平台业务构架

平台的业务架构包括平台支撑功能、平台报表报告生成、数据综合查询、可视化分析展示四大模块。通过基础功能的支撑，实现源数据的获取，通过平台的智能报表报告生成模块，实现报表数据的一键生成，最终都能够通过综合数据查询模块进行数据的查询，通过综合查询模块可以实现源数据的分析、整理与归纳，最终通过第四个模块进行可视化数据展示，具体的平台业务构架见图2所示。

图2：平台业务构架

3.3平台数据支撑架构

平台数据支撑架构包括：数据接入、数据整合以及计算引擎。通过将报表文件、营销业务数据、其他业务数据等进行数据收集和抓取采集，在源数据区域进行数据的整合，将源数据通过计算引擎进行源数据的分类，整理和计算，通过数据服务的窗口，最终将源数据应用到可直观感受的业务中（图3）。源数据的处理，使用户更方便使用收集到的数据，减少不需要的时间浪费，减少对数据分析的时间。

图3：平台数据支撑架构

3.4平台功能

3.4.1系统首页

登录后进入系统主操作界面，主要包括：数据库管理、智能报告、大屏展示、智能报告、综合数据查询等具体见图4所示。

图4：系统首页界面

3.4.2数据中心

数据中心对所有类型的报表进行进行整体管理，包括上传、下载等见图5所示。

图5：数据中心展示

3.5平台优化后效果

3.5.1报表一键生成

通过计算引擎配置将“源”报表计算、整合、处理成需要的报表。平台开发了一键生成功能，将我们需要生成的报表自动全部生成，操作过程见图6所示。

图6：报表一键生成过程展示

3.5.2智能报告

通过数据源以及报告模板，生成规划月报、售电量月报、工作汇报、指标监测报送等报告见图7所示。

图7：智能报告生成过程展示

3.5.3综合查询分析

已入库数据的查询分析（图表）、提供动态列筛选、导出等功能，此为地方发电的综合查询见图8所示。

图8：综合查询展示

3.5.4可视化分析展示

展示分析可以对电厂发电数据、电厂发电类型数据进行综合分析展示，对电网运行变压器设备数据进行综合分析展示，对电网投资数据进行综合分析展示，等，具体见图9所示。

图9：可视化分析展示

其中从上到下三个土分别为发电数据、设备数据、电网投资数据的三个部分功能的展示，优化后的效果和数据展示更加的明显，能够快速的找到需要的内容，使用人员能够直观的感受到数据信息的变化，便于对电网系统的关系和调度。

3.5.5实现数据自动获取机制

目前工作获取“源”报表还需要人工导入，后续采用RPA方式实现自动化处理，通过抓包工具实现报表、数据自动获取，减少人员的工作量及人工环节出错的概率；需要利用数据中台，逐渐实现与各个电网子系统的数据对接，将电网各个业务“源”数据通过接口方式自动获取，进一步减少人员的工作量以及工作过程中造成的失误。

3.5.6完善的业务应用场景

需要进一步完善“一键生成”、智能报告、可视化综合分析的自定义功能，若源表、成果报表部分内容发生变化，仍能完美适配新模板、要求；加入自定义算法接口，通过接入神经网络、回归分析、相关分析等实用算法模型，实现对关键数据指标的实时智能预测，达到深度辅助规划计划决策的目标。

4总结

综上所述，根据企业发展的需求，本文从电网系统的平台总体设计出发，对平台支撑功能、平台报表报告生成、数据综合查询、可视化分析展示四大模块进行了优化设计，达到了数据自动获取机制、业务应用场景完善、数据报表一键生成、业务数据可视化展示的效果，促进了企业电网系统的稳定运行和发展。

参考文献

[1]王晨,冯双昌,刘鹏博.基于电梯全生命周期的多源异构大数据采集方法的研究[J].中国电梯,2020,31(22):36-38.

[2]陈世超,崔春雨,张华,马戈,朱凤华,商秀芹,熊刚.制造业生产过程中多源异构数据处理方法综述[J].大数据,2020,6(05):55-81.

[3]傅磊,曲晓峰.基于LabVIEW的发电设备多源异构数据采集策略[J].机械工程师,2019,(11):88-90.

[4]汪俊亮,郑鹏,吕佑龙,鲍劲松,张洁.Fog-IBDIS——基于雾计算的制造系统大数据集成方法[J].Engineering,2019,5(04):150-168.

[5]王瑞杰.面向电力调度控制系统的多源异构数据处理方法研究[D].导师：唐良瑞.华北电力大学(北京),2017.

[6]肖文华,包卫东,朱晓敏,邵屹杨,陈超,JianhongWu.面向多源大数据云端处理的成本最小化方法[J].软件学报,2017,28(03):544-562.

[7]朱建章,石强,陈凤娥,史晓丹,董泽民,秦前清.遥感大数据研究现状与发展趋势[J].中国图象图形学报,2016,21(11):1425-1439.

[8]吴润泽,蔡永涛,陈文伟,陈文刚,王一蓉.面向多源异构数据源的实际范围索引树索引方法[J].电力系统自动化,2016,40(11):121-125+131.

[9]张洁,高亮,秦威,吕佑龙,李新宇.大数据驱动的智能车间运行分析与决策方法体系[J].计算机集成制造系统,2016,22(05):1220-1228.

[10]黄建华,李金明,王银锁.多源、多目标传感器数据处理方法探讨[J].自动化与仪器仪表,2014,(08):109-110.

[11]薛纯,张福浩,赵阳阳,张湉湉.大数据视角下的多源组织机构代码信息融合方法[J].测绘科学,2014,39(05):76-79+64.

作者简介：丁小叶，1990年11月生，女，汉族，江苏南通人，现供职于国网江苏省电力有限公司南通供电分公司，工程师，硕士，研究方向为电力系统负荷特性分析，电力需求响应，电力市场分析预测