简介:摘要:如何在海量用户数据中定位可疑窃电用户是防窃电的关键技术。文章分析现有防窃电技术,建立防窃电评价体系,利用大数据处理方法,对海量用户数据进行特征量提取;针对提取后数据采用数据挖掘技术,构建防窃电模型,定位可疑用户。工程实例表明,文章所示算法,能有效剔除冗杂数据,提高算法精度,具有较好的可靠性和有效性。
简介:针对大数据处理框架MapReduce中的任务调度问题,提出一种基于Markov决策过程(MarkovDecisionProcess,MDP)的任务调度算法,通过状态集来描述集群中节点的负载和作业的数据本地性需求,使用状态转移函数表示调度策略对状态的影响,采用值迭代求解算法求取最优策略,实现集群中节点的最优调度.实验结果表明,该算法能够保证数据本地性的同时,减少作业响应时间,提高系统综合性能.