简介:摘要:随着电网终端采集装置的大范围安装与现场应用,越来越多的电网业务应用具备了数据实时采集的能力。为了充分发挥实时采集的电网数据价值,要求技术发展能够适应大规模电网数据流实时处理的新要求。然而,当前电力大数据的处理方式仍以传统的数据批处理为主,而大规模电网数据流在实时性、无序性、无限性、易失性、突发性等方面均呈现出了诸多新特征,使得基于“先存储后处理”设计理念的数据批量处理在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等方面面临着前所未有的新的挑战。类似于MapReduce的离线处理并不能很好地解决问题,而流计算可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析,捕捉到可能有用的信息。
简介:提出了一种新的多数据流聚类算法.该算法可以有效地对有相似行为但存在一定时间延迟的多数据流进行聚类.算法采用自回归模型技术度量数据流间的延迟相关,利用频谱估计来抽取数据流的特征.每一个数据流用其谱分量的和来表示,从而来计算每对数据流间的相关关系.每个谱分量用振幅、相位、衰减率、频率4个参数来描述.算法计算谱分量对之间的ε-延时相关关系,并以此为基础来得到聚类分析中数据流间距离的度量.此外,算法采用滑动窗口技术对多数据流进行聚类,实时地得出聚类结果且动态地调节聚类的个数.在人工数据集和实际数据集上的实验结果表明,所提出的算法比其他类似的算法具有更快的速度和更好的聚类效果.
简介:本文会让我们知道数据流的作用、测量方法数据流参数的分类等知识,通过运用数据流分析发动机转速、传感器工作状态等全面了解数据流在汽车领域的运用,并且熟练掌握汽车电控系统数据流分析。