首页 > 《深圳职业技术学院学报》 > 2014年1期 > 大数据处理框架中基于MDP的任务调度算法

大数据处理框架中基于MDP的任务调度算法

在线阅读下载PDF 导出详情

摘要针对大数据处理框架MapReduce中的任务调度问题，提出一种基于Markov决策过程（MarkovDecisionProcess，MDP）的任务调度算法，通过状态集来描述集群中节点的负载和作业的数据本地性需求，使用状态转移函数表示调度策略对状态的影响，采用值迭代求解算法求取最优策略，实现集群中节点的最优调度．实验结果表明，该算法能够保证数据本地性的同时，减少作业响应时间，提高系统综合性能．

DOI ojnq09ggjr/1303813

作者冯延蓬;仵博;孟宪军;何国坤;江建举

机构地区不详

出处《深圳职业技术学院学报》 2014年1期

关键词大数据 MAPREDUCE MARKOV决策过程任务调度

分类 [文化科学][职业技术教育学]

出版日期 2014年01月11日（中国期刊网平台首次上网日期，不代表论文的发表时间）