DOLDA模型设计与主题演化分析

作者:蒋权; 郑山红; 刘凯; 李万龙

摘要:为解决OLDA模型挖掘大规模文档主题时计算效率低下和不能发现新主题的问题,提出一种分布式的DOLDA模型(distribute online LDA,DOLDA)。建立分布式矩阵存储主题-词项,设计一种动态负载均衡策略来提升计算速度和线程调度的性能,根据Zipf定律结合主题的遗传度提出一种文档权值设置方法。在Spark分布式计算平台的实验结果表明,相比OLDA模型,DOLDA模型能够提高近16%的加速比,有效地在线分析主题的演化。

分类:
  • 期刊
  • >
  • 自然科学与工程技术
  • >
  • 信息科技
  • >
  • 电子信息科学综合
收录:
  • 国家图书馆馆藏
  • 维普收录(中)
  • 上海图书馆馆藏
  • 北大期刊(中国人文社会科学期刊)
  • 知网收录(中)
  • 万方收录(中)
  • 统计源期刊(中国科技论文优秀期刊)
  • JST 日本科学技术振兴机构数据库(日)
  • 哥白尼索引(波兰)
  • SA 科学文摘(英)
  • Pж(AJ) 文摘杂志(俄)
关键词:
  • 主题挖掘
  • 分布式计算
  • 在线的潜在狄利克雷分布模型
  • 动态负载均衡
  • 主题演化

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

期刊名称:计算机工程与设计

期刊级别:北大期刊

期刊人气:3696

杂志介绍:
主管单位:中国航天科工集团
主办单位:中国航天科工集团第二研究院706所
出版地方:北京
快捷分类:计算机
国际刊号:1000-7024
国内刊号:11-1775/TP
邮发代号:82-425
创刊时间:1980
发行周期:月刊
期刊开本:A4
下单时间:1-3个月
复合影响因子:0.62
综合影响因子:1.32