基于IT支撑系统的大数据信息云化改造探究

(整期优先)网络出版时间:2018-06-16
/ 2

基于IT支撑系统的大数据信息云化改造探究

张雪坚苏文伟耿贞伟

关键词:IT支撑系统;大数据信息;云化改造

近年来我国已经进入互联网+时代,国家和企业都加大了改革和投入以适应新形势、促进新发展。大数据技术对电力企业提高生产管理水平,提高生产效率将会带来新的机遇。据测算,电力行业的生产、管理、用户、计量、资产等方面数据已达到20PB。在数据量暴增的情况下,标志着我国已经进入大数据时代,电力企业要想获得稳定的发展就必须具备处理大数据和分析数据的能力,能够将大数据中的内容进行有效应用,进而保证行业的健康发展。在以往的企业管理中较为常用的数据处理工具为商业硬件和软件,在发展的过程中需要在数据处理中投入较大的成本,这就意味着电力企业的经济效益会受到一定影响。在这种发展趋势下,企业要想得到健康发展就必须采取先进技术来替代原有的商业硬件和软件,保证系统的横向发展。

一、IT支撑系统数据架构分析

电力企业经过多年的发展已经形成了一定的发展规模,其中IT支撑系统的主要框架为小型机、磁盘阵列和商用软件,这种数据处理模式虽然也能起到一定的作用,但是作用并不明显,且在系统运行中所消耗的成本较大,不具备经济效益。就电力行业来说,分析大数据的主要目的是通过对大数据的对比分析了解用户的实际需求,推出更加全面的服务和功能体系,以便于为用户带来更好的服务体验。这样不仅能够增加电力企业的经济效益,还能在市场中占据一定的优势,对电力企业的长期稳定发展具有积极作用。但就现阶段的电力企业系统来看,以往所采用的数据处理系统并不能满足用户的真实需求。下面就针对现有数据架构中存在的问题进行分析:

1、购置成本高

在以往所采用的IT支撑系统中主要是采用IOE架构,依靠成本较高的小型机和存储整列来运行,这就意味着企业需要在数据处理中投入大量的资金,才能保证IT支撑系统的稳定运行。在数据量逐渐增多的情况下,还需要对支撑系统的内容进行扩充,为了保证系统的正常运行还需要采取纵向扩展的方式来提升支撑系统的运行性能,确保IT支撑系统性能的正常发挥,这种情况下必定会为电力企业带来较大的经济投入。

2、系统兼容性差,存在技术壁垒

现阶段所采用的IT支撑系统中的硬件平台表现出现兼容性不足的现象,由于平台的功能性限制,无法实现与其他平台的无缝连接和跨平台操作;相对来说,在维护与检修方面也需要投入较大的精力,同时对技术人员的自身素质也具有较高的要求;部分电力企业还表现出对厂商的过度依赖,一些技术人员由于自身能力限制,无法完全掌握系统的核心技术,致使在发展的过程中还需要厂商提供相应的技术支持;同样是由于对核心技术无法实现全面掌握,在发生业务问题时无法快速做出响应,影响最终的服务水平。

3、投资维护成本高

由于各个设备之间缺乏一定的联系,无法进行统一管理,这对运维管理工作带来一定的难度。同时,因涉及的工作较多,使用的设备量也较大,在运维管理工作中需要投入大量的人力、物力和财力,产生大量的成本投入,这对电力企业来说会造成大量的资金浪费,这种情况下,必定会引发电力企业的不良发展。

二、云化改造实现技术要求

在对上述问题进行分析之后可以发现,现阶段需要解决的问题为小型机的成本投入大问题,这里可以采用X86架构服务器来替代小型机的使用,相对来说X86架构服务器在经济性能上具有较大的优势。但是在运行的过程中可以发现,由于服务器与阵列设备的接口方面存一定的差异,致使无法实现接口的统一管理。下面就针对云化改造的过程中的相关技术问题进行探讨:

1、接入层

在接入层层面,采用x86服务器来代替小型机,不仅能够起到降低成本的作用,还能在一定程度上提升系统的运行性能。最后使用x86服务器组成WEB服务器。对于应用层而言则可以在模块化的方式来降低设备的耦合性,通过各个运行节点之间的相互作用来提升系统的运行性能。同时在系统的节点分布上也需要遵循一定的原则,既在虚拟机中的节点需要控制在物理机的四分之一。

2、内容存储

使用基于X86架构的分布式云存储;根据内容存储的应用特征,选择合适的非结构化存储类型:文件、对象、块。数据库/数据仓库。OLAP应用采用Hadoop集群或分布式MPP,实现读写分离。OLTP应用将可以不用关系型数据库实现的操作(如读操作),尽量采用NoSQL等分布式非关系型数据库实现;不可避免的写操作,仍然保留关系型数据库实现,确保读库、写库数据同步,同时尝试写库向X86架构迁移。

三、云化改造引入策略分析

1、X86平台替代小型机的引入策略

为了保证X86平台的合理构建,需要先对小型机和一些应用设备进行合理安排,遵循从易到难的原则,在对边缘的设备和系统进行改进之后,在完成对核心设备的改造过程,逐步以X86服务器替代小型机的使用,最后使用X86平台来代替IT支撑系统来实行数据处理和分析。

2、X86服务器虚拟化的引入场景及策略

针对X86服务器系统的应用需要满足以下几点技术要求:要求对单个节点的技术处理能力不高,对于单个节点的要求与物理机的性能直接挂钩;从生命周期来看,存在生命周期短的特性,由于业务状况较多,在实际运行的过程中需要操作系统回收和资源分配等操作,这对系统的影响较大。对于应用模型来说,同样存在一定的弊端,在运行中所产生的资源会对随之增长。

四、IT支撑系统云化改造实施方案分析

1、售电系统

存储层:构建基于X86集群的Hadoop分布式大数据平台基础设施,处理大量日志、详单的存储、查询要求,实现详单、账单查询云化。

内存数据处理层:实现对内部计费核心数据的统一管理,如余额、用电量等数据,合理整合核心数据,采用分布式内存数据库集群技术,支持内存数据的高水平扩展,实现实时计费应用对内存数据的大并发高效访问。

2、数据分析系统

在应用层引入新技术,采用工作流引擎、规则引擎、内存缓冲、数据库连接池等技术,提升实时并发处理能力。核心应用向J2EE架构迁移,完成应用层从现有应用架构(如C/C++开发的应用,或基于Tuxedo中间件的应用)向J2EE架构迁移。实现应用层架构全面支持X86平台,完成X86云化部署或迁移。

结语:在大数据时代的影响下,IT支撑系统的大数据信息处理技术也面临着全新的挑战。由于原有的IT支撑系统中所采用的为小型机,为此,需要投入大量的运行资金,对电力企业的经济效益带来严重影响。为了改变这种发展现状,电力企业需要加强对大数据信息云化改造方案的研究,从根据上提升IT支撑系统的云计算能力,保证为用户提供更加便捷的服务保障。但是就现阶段的发展进程来看,云计算平台还存在一定的弊端,无法有效推进IT支撑系统的健康发展,为此,在今后的工作中,可以将其作为重点内容开展,保证企业的服务水平。

参考文献:

[1]成静静.大数据时代电信运营商IT支撑系统去IOE方案研究[J].数据通信,2016(5):1-4;

[2]廖锋,成静静.大数据技术及在电信运营商IT支撑系统的应用研究[J].数据通信,2016(2):28-31;

[3]梁杨,孙淳晔,王智宏.三大IT支撑系统大数据融合建设模式研究[J].移动通信,2016,40(5):10-14.