基于大数据技术的数据收集应用及投资预警分析研究

基于大数据技术的数据收集应用及投资预警分析研究

赵佳妍

（国网山西省电力公司经济技术研究院山西太原030002）

摘要：随着云计算、物联网、移动互联网和社交网络等信息化技术的快速发展，以分布式存储、分布式计算和海量数据挖掘等为代表的大数据技术得到了空前的发展，并日趋成熟。通过对电网工程各阶段投资情况进行数据收集，并进行分析诊断纠偏措施，将投资预算管理理念引向深入，加强电网基建工程投资预算执行过程控制及分析，实行工程全面投资预算管理。

关键词：大数据技术；数据收集诊断；投资预警

随着现代化的不断的发展，想要在竞争激烈的社会环境中取得一席之地，就必须要做好对于企业中信息的把握。电力企业亦是如此，电力系统中引入大数据技术，能够大大的提高电力数据的处理技术水平，使得电网的运营能力持续向前发展。

1.概念

大数据的概念从上个世纪就被提出来了，大数据的特点就是集成了很多的数据，数据的含量非常大。其次就是大数据中数据的种类非常的多，第三点通过对于大量数据的收集，经过一系列的处理能够快速的得到有用的信息，因此数据的处理速度相对来说比较多，而且大数据中数据的价值密度值相对来说比较低。简而言之，就是我们通过进行大量的数据搜集工作，从中找到数据的共同点为我们的生产生活提供帮助。大数据技术在电力行业中得到了较好的发展。电力的大数据指的是通过对于信息的收集工作，对于电力生产中的一些问题进行比较高性能的计算，对于电力生产中的数据进行比较深入的挖掘，然后进行比较全面的统计分析工作，使得电力的生产向着又好又快的方向发展。

2.基于大数据技术的数据收集应用及投资预警分析

2.1大数据采集技术

电力大数据平台中的数据主要来源于电网企业现有的ERP关系数据库和数据仓库等。涵盖项目基本信息、项目预算、采购订单、成本记账、利润中心清单、投资预算编制、投资预算发布等多类数据。数据在进行传输的过程中，既需要保障数据能在关系型数据库和分布式存储之间无缝传输，又需要保障大规模数据的传输与流转效率，同时不能影响现有业务系统的正常运行。通过全业务数据中心与ERP的集成，将ERP的后台表数据以T+1方式集成至全业务数据中心，实现海量数据自动采集。利用关系数据库与分布式存储同步技术实现不同存储机制下的数据双向同步，即一方面可以将关系数据库的数据抽取到分布式存储中，另一方面又可以将分布式存储中的数据回写到关系数据库中。数据采集关键技术主要包括数据抽取、数据清洗和数据转换三个部分。数据离散化、数据挖掘关联分析时，对数值数据需转换成非连续的字典类别，利用离散化数据以进行关联。

2.2大数据存储技术

数据存储技术通过以较低的成本保存海量的多类型数据，并提供对数据的多种访问方式，涉及的关键技术主要包括：（1）HDFS分布式文件系统。文件数据存储在分散的低成本存储介质上，对外提供一致的文件访问接口，具有良好的容错性和并发吞吐。（2）HBase列式存储数据库。基于HDFS分布式文件系统上的以列相关存储架构进行数据存储的数据库，主要适用于批量数据处理和即时查询。在全业务数据中心搭建星型数据模型，设置存储过程，对后台表设置关联关系，对数据进行加工、处理、分析、挖掘，将投资预算编制值、发布值、执行值汇总，并按照地区、单位、单项工程、建设阶段、电压等级、费用类型等不同维度进行汇总，处理成前台展现所需的数据格式。每天自动运行存储过程，实现海量数据的自动处理。实时数据量巨大，需要存放在HDFS中进行分布式存储，供数据处理程序进行分布式离线计算调用。设备台帐、客户档案等结构化档案数据存放在HBASE中，供系统随时调用。电网设备拓扑等非结构化数据存放在HDFS中，供系统进行分布式电网设备拓扑关系分析时使用。

2.3大数据分析技术

数据处理与分析技术包括分布式计算技术、内存计算技术、流处理技术、数据挖掘和多维度分析等。本系统中对海量数据不需要多次循环迭代的算法，如数据聚合处理、数据离散化、演化分析和异类分析等，采用Hadoop离线分布式计算技术完成。对于需要多次对数据进行全量扫描的算法，如关联分析和聚类等算法采用Spark内存计算技术实现。投资预算执行情况包含分电压等级、建设阶段、地区单位的年度投资预算执行率。年度投资预算执行率=当年累计已发生成本/年度投资预算编制值（不含税）。地区单位投资预算执行率、电压等级投资预算执行率、建设阶段投资预算执行率等分析通过单项工程页面进行分类汇总，展示每个建设阶段（新建、续建、结转）的投资预算执行情况。

2.4构建预测分析模型

对电网投资预算的编制、发布、执行数据进行分析管控，搭建“形象进度、投资预算、工程实际成本”预测分析模型，实现各单位投资预算执行率异常预警，实时监控各单位投资预算执行情况，显著提高电网投资预算执行情况的透明度，有助于及时对执行进度异常情况纠偏，确保年度投资执行结果与年度投资预算精确匹配。

3.投资效益分析

3.1经济效益分析

在总结多年来的项目投资预算的管控成果上，对项目投资预算的控制环节进行精细化管理，将控制环节前移，在提交环节就预警，避免业务发生后发现预算不足，提高工作效率。

针对按月度进行项目投资预算执行率指标的管控，对不同项目类型的数据进行多维度比较和总结，设置指标阈值作为参考，在指标完成进度上提前发现问题，提前进行项目进度的督促和整改，避免年底出现大批量入账和虚假入账现象。

通过搭建及时有效地利用先进的数据库技术管控平台，实现项目投资预算展现的及时性，为单位提供多维度的管控手段。实现了对项目构成、费用明细的清晰展现、分类管理，有效控制了投资规模，降低了工程成本，防范了工程财务管理风险。

3.2社会效益分析

在输配电价改革的背景下，电网企业的经营模式逐渐由购售电价差模式过渡到以有效资产为基础获取准许成本和准许收益的模式。有效资产对于电网企业的重要性显著提升，而电网投资作为有效资产中的增量部分，更是处于举足轻重的位置。监管机构根据电网企业在监管周期内的年度投资计划进行核定，按计划执行的电网投资纳入未来年度的有效资产。电网企业根据投资计划编制投资预算，根据投资预算进行年度投资执行管控，使年度投资执行情况与投资预算相匹配。投资预算执行偏差率分析功能对于电网企业提升投资管理精益水平，严格履行核定后的投资计划，稳定输配电价具有积极重要的意义。

4.结束语

本文通过运用大数据的方法和数据挖掘的工具，阐述了电网投资分析预警方法，希望对指导实际工作具有积极意义。

参考文献：

[1]赵云山，刘焕焕.大数据技术在电力行业的应用研究[J].电信科学，2018（1）：57～62.

[2]孙柏林“.大数据”技术及其在电力行业中的应用[J].电气时代，2018（8）：18-23.

[3]杨华飞，李栋华，程明.电力大数据关键技术及建设思路的分析和研究[J].电力信息与通讯技术，2017（1）：7～10.