一种作业弹性与截止时间感知的作业调度算法

作者:黄春秋; 陈志; 荣垂田

摘要:针对采用MapReduce模型的大数据分析作业的调度问题进行深入研究,并分析现有任务调度算法的缺陷,现有算法没有考虑资源分配对于作业截止时间的影响,也未考虑不同类型作业截止时间的敏感性问题。因作业的完成时间随着分配资源的不同而改变,故称之为弹性作业,截止时间敏感性是指不同类型作业对截止时间要求的严格程度不同。针对以上问题,提出一种截止时间感知的弹性作业调度算法(DA)。该算法将作业依据截止时间敏感程度进行分类,在基于作业整体执行时间预测的基础上,通过调控不同的资源分配策略来改变作业完成时间,同时结合用户对于截止时间的需求及作业预执行的收益来提前规划作业的资源分配及调度次序使得整体收益最大化。将算法在仿真拥有210个物理节点的集群中进行实验,实验表明该算法满足了截止时间的限制并使得作业整体收益值平均提高了2.37倍。

分类:
  • 期刊
  • >
  • 自然科学与工程技术
  • >
  • 信息科技
  • >
  • 电子信息科学综合
收录:
  • 上海图书馆馆藏
  • 国家图书馆馆藏
  • 哥白尼索引(波兰)
  • 万方收录(中)
  • 维普收录(中)
  • 知网收录(中)
  • 统计源期刊(中国科技论文优秀期刊)
关键词:
  • 弹性作业
  • 截止时间感知
  • 执行时间预测
  • 调度算法

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

期刊名称:计算机与现代化

期刊级别:统计源期刊

期刊人气:8444

杂志介绍:
主管单位:江西省科学技术厅
主办单位:江西省计算机学会;江西省计算技术研究所
出版地方:江西
快捷分类:计算机
国际刊号:1006-2475
国内刊号:36-1137/TP
邮发代号:44-121
创刊时间:1985
发行周期:月刊
期刊开本:A4
下单时间:1-3个月
复合影响因子:0.47
综合影响因子:0.87