Spark协同过滤算法扩展性测试与分析
作者：沈雯婷; 刘财政; 孙磊; 李慧; 许利杰; 王伟
摘要：机器学习算法的线性扩展性要求算法的计算性能随节点数增加保持接近线性增长。针对当前ALS算法扩展性测试的不足,提出一种多维度扩展性测试方法,通过横向测试进行扩展性测试,使用纵向测试确定扩展性瓶颈。结合真实数据集在Spark MLlib上进行测试,实验结果表明,该算法对节点敏感,会出现任务聚集到某个节点上的问题,同时随着任务并行度增加,算法执行时间增加,效率降低。
分类：
- 期刊
- >
- 自然科学与工程技术
- >
- 信息科技
- >
- 电子信息科学综合
收录：
- 北大期刊(中国人文社会科学期刊)
- 统计源期刊(中国科技论文优秀期刊)
- 知网收录(中)
- 维普收录(中)
- 万方收录(中)
- SA 科学文摘(英)
- JST 日本科学技术振兴机构数据库(日)
- Pж(AJ) 文摘杂志(俄)
- 哥白尼索引(波兰)
- 国家图书馆馆藏
- 上海图书馆馆藏
关键词：
- 分布式机器学习算法
- 交替最小二乘法
- 扩展性
- 多维度测试
- 测试发现
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
