志丹县水利工作队 陕西省延安市志丹县 717500 志丹县乡村供水管理总站 陕西省延安市志丹县 717500
摘要:此管理系统的开发理念和关键技术是比较广泛应用的数据库管理系统上建立的,其中,硬件配置的高低是由用户单位的经济条件决定,但是网络和软件、硬件部分的设计须不断完善和更新。要不断提高管理系统的数据分析和软件升级水平,及时掌握管理系统提供的数据结果,随时与前端使用用户沟通,从而帮助用户提高工作效率。
关键词:农村供水工程;信息管理;数据库建设
1建设内容
1.1数据库
分布式数据库Greenplum(GP)以开源数据库PostgreSQL为基础,具备与传统数据库相近的接口及开发方式,支持SQL2003,集OLTP、OLAP、批处理和搜索等场景于一体,满足数据高并发的在线业务需求。GP的基本功能特性如下:(1)异构数据存储海量存储。GP支持结构化数据、半结构化(JSON/BSON,XML形式存储)、非结构化数据。例如,可以高效存储以及读取纯文本、图片或者图层数据。(2)基于SQL的快速批处理。GP支持通过SQL语言对数据进行高效批量统计的能力。同时,利用全局/辅助索引进行SQL执行加速,可以满足高速的OLAP数据分析应用需求和高速的SQL离线批处理。(3)低延时高并发查询:GP支持多种索引,包括全局索引(GlobalIndex)、局部索引(LocalIndex)、高维索引(High-DimensionalIndex)以及全文索引(Full-TextIndex)等;支持通过SQL进行复杂条件毫秒级高并发查询,满足在线存储和在线业务分析系统(OLAP)的低延时需求。
1.2数据整合
实现来自数据产生层的结构化、非结构化、半结构化明细数据的采集、抽取、质检等,并进行清洗和简单处理后,存储至分布式数据库中。数据整合由数据整合系统自动完成。
1.2.1数据整合系统建设
数据整合系统由生产数据整合、业务数据整合、外部数据整合3部分组成。(1)生产数据整合。通过WPGDatahub(威派格数据汇总平台),整合物联网数据和第三方表务数据(包含水厂、加压泵站、大表、二供)等,见图1。WPGDatahub是一个智慧水务数据中台系统,它的核心是接入、解析、清洗和输出物联网数据,平台可以接入多种数据采集设备,并可以实现对各种数据的统一管理和配置(包含设备系统本身的配置以及点表清单的配置);除此之外,平台还可接入第三方系统的数据。
图1生产数据整合技术路线
数据接入之后,DataHub具有强大的数据解析功能,融合了多种协议解析器(DS),能根据接入的设备或第三方系统自动适配并解析,再通过统一的数据清洗后,将数据输出给其他业务系统。WPGDatahub在线监测多个应用服务资源,对外提供多种数据服务。WPGDatahub是整个智慧水务生态体系中的数据枢纽,它以其强大的数据接入和转换能力,在即有的信息化基础上对数据进行整合并标准化,通过数据对业务进行驱动,将数据的价值最大化,为运营降本增效。(2)业务数据整合。通过ETL工具整合业务数据,包含全量和增量整合。(3)外部数据整合:通过自研爬虫整合舆情、政策等数据。
1.2.2数据整合接入
(1)资产数据整合接入:资产管理系统分批次建立,在系统建立初期不接入。(2)业务数据整合接入:业务数据包括营业数据、客服数据、维修数据等,先优接入客服和维修数据,其他业务数据后期接入。(3)生产数据整合接入包括厂站生产数据整合接入、管网监测数据接入。
1.3数据中台
构建由数据开发套件、数据治理套件和数据应用引擎组成的数据中台,确保使用数据的口径标准高、时效性强,能有更高的可靠性和稳定性。(1)数据开发以GP为基础,基于MPP技术。数据开发套件将面向业务主题,实现对数据加工、分析与挖掘等处理,构建数据仓库和数据集市,解决企业大数据处理的各种技术难题,为数据分析应用提供基础。(2)数据应用引擎是构建大数据应用需要的中间件,支撑对大数据的应用分析。如实时流处理引擎用于流数据加工、大规模搜索引擎用于海量数据综合检索(能在PB数据量级上实现秒级延迟的搜索功能)等。(3)数据资产管理:利用数据治理套件,实现大数据中心各类数据的统一管理,支撑对数据标准、数据模型、数据资源目录、数据字典、数据质量、元数据、数据安全和流程的管理。
2大数据应用分析
2.1用户画像
用户画像是真实用户的虚拟代表,是建立在一系列真实数据之上的目标用户模型。通过用户画像可以帮助公司更深入和精确地了解用户,为用户提供更深层次服务、差异化服务及个性化服务,并可进一步挖掘用户潜在价值,如智能推荐、精准营销、业务经营分析等。用户模型主要有单户查询和专题分析功能。单户查询可以通过模型查询到用户的基本信息、标签数据和互联网数据,以便快速深层次地了解用户信息。专题分析功能提供标签树和维度库,用户可以选取不同的标签,从不同维度进行交叉关联分析群体用户数据,分析结果可以导出供其它系统使用。
2.2基于无监督学习算法的用水规律分析
供水设备每天都会产生大量的设备运行情况、设备供水情况等记录。在这些海量的数据中隐含着许多有价值的信息,借助数据中台提供的无监督学习算法,寻找数据内在的分布结构,找到不同设备每日的多个运行状态,总结出各用水阶段发生时所处的频率、时刻,进而能够分析用户的用水特征。借此可寻找多个设备之间的异同点,为接下来分析设备的工况、设备画像等工作提供有力的数据支持,从而更好地为用户服务。
2.3供水设备生命周期预测
设备剩余寿命预测是指在设备运行的某一时刻,根据所监测设备的运行状态、同类设备的历史数据(从运行到失效过程中的状态监测数据、失效时间数据、维护时间数据),以及工艺、使用、维护手册、外部信息等数据,预测设备由当前时刻至失效的剩余时间。鉴于供水设备的复杂性,建立其完备的物理数学模型异常困难。因此,需要直接从供水设备的状态监测数据(及同类设备的历史数据)中,综合采用多种预测方法,实现供水设备的剩余寿命预测,提高预测准确率。
3结语
在信息化背景下,通过加强农村饮水工程网络信息建设,可以促进农村饮水工程管理模式改革创新,将农村饮水工程整体效益全面发挥。作为农村水利工程中不可或缺的一部分,饮水工程将会给农村群众正常饮水和农业发展带来直接影响,随着农村人口数量增多,水资源分布缺少均匀性,国家发布精准扶贫战略,为了带动农村经济更好发展,需要把信息化技术应用到农村饮水工程中,强化工程管理,发挥供水价值。
参考文献
[1]陈德清,李磊,王钧,贾广平,李家欢,李鑫雨.农村供水工程信息管理系统现状与展望[J].中国水利,2022,(03):27-28.
[2]李永鹏.农村供水工程安全调控与自动化系统应用[J].科技风,2021,(05):197-198.
[3]李晓琴,胡孟,邬晓梅,宋卫坤.农村供水信息化监管与自动化监控技术标准研究[A].中国水利学会.中国水利学会2016学术年会论文集(下册)[C].中国水利学会:中国水利学会,2016:317-322.
[4]赵勇.农饮水供水站信息管理系统的构建与应用[J].中国水利,2015,(23):70-71.