简介:摘要:电力行业计量数据有多种类、多来源、速率高等特性。并且随着该计量行业的不断发展,数据处理的复杂性逐渐升高,传统程序写入数据库的方法暴露了稳定性差、速率慢等问题,需要结合先进的大数据处理技术设计一套符合当下该领域的数据写入处理方法。本文针对数据写入这一点进行了研究,结合了先进的流处理技术设计了一套数据写入程序,程序采用了Storm技术设计了拓扑结构实现了关系型数据库的可靠写入。通过制定了Storm模块间数据元交互格式制定,结合数据分组设计和多源类数据表缓冲结构的应用,优化了程序写入数据库的稳定性、速率性以及抵御了数据复杂性带来的入库挫折,满足了电力计量数据写入数据库的高要求,同时该框架及相关模块也有很高的其它行业数据写入的适用性。