基于强化学习的Lustre文件系统的性能调优

作者:张文韬; 汪璐; 程耀东

摘要:高能物理计算是典型的数据密集型计算.分布式存储系统的吞吐率和响应时间是最关键的性能指标,往往也是重点关注的性能优化目标.存储系统中存在大量可供调节的参数,这些参数的设置对系统的性能有着很大的影响.目前,这些参数被直接设置为静态值,或者由经验丰富的管理员定义一些启发式规则来自动调整.考虑到数据访问模式和硬件配置的多样性,以及依靠人类经验来找到数百个交互参数的启发式规则的难度,这2种方法的效果都不太乐观.实际上,如果把调节引擎看作是智能体,把存储系统看作是环境,存储系统的参数调节问题是典型的顺序决策问题.因此,基于高能物理计算的数据访问特点,提出了用强化学习的方法来进行自动化的参数调优.实验表明:在相同的测试环境下,以Lustre文件系统默认参数为基准,该方法可使其吞吐率提升30%左右.

分类:
  • 期刊
  • >
  • 自然科学与工程技术
  • >
  • 信息科技
  • >
  • 电子信息科学综合
收录:
  • 上海图书馆馆藏
  • Pж(AJ) 文摘杂志(俄)
  • 国家图书馆馆藏
  • 万方收录(中)
  • 文摘与引文数据库
  • 知网收录(中)
  • 维普收录(中)
  • 剑桥科学文摘
  • CSCD 中国科学引文数据库来源期刊(含扩展版)
  • 北大期刊(中国人文社会科学期刊)
  • EI 工程索引(美)
  • JST 日本科学技术振兴机构数据库(日)
  • 统计源期刊(中国科技论文优秀期刊)
关键词:
  • 分布式存储
  • 强化学习
  • 性能调优
  • 深度学习
  • 参数调节

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

期刊名称:计算机研究与发展

期刊级别:北大期刊

期刊人气:4719

杂志介绍:
主管单位:中科院出版委员会
主办单位:中国科学院计算技术研究所
出版地方:北京
快捷分类:计算机
国际刊号:1000-1239
国内刊号:11-1777/TP
邮发代号:2-654
创刊时间:1958
发行周期:月刊
期刊开本:A4
下单时间:1-3个月
复合影响因子:2.65
综合影响因子:2.48