基于细粒度数据流架构的稀疏神经网络全连接层加速

作者:向陶然; 叶笑春; 李文明; 冯煜晶; 谭旭; 张浩; 范东睿

摘要:深度神经网络(deep neural network,DNN)是目前最先进的图像识别算法,被广泛应用于人脸识别、图像识别、文字识别等领域.DNN具有极高的计算复杂性,为解决这个问题,近年来涌出了大量可以并行运算神经网络的硬件加速器.但是,DNN中的全连接层有大量的权重参数,对加速器的带宽提出了很高的要求.为了减轻加速器的带宽压力,一些DNN压缩算法被提出.然而基于FPGA和ASIC的DNN专用加速器,通常是通过牺牲硬件的灵活性获得更高的加速比和更低的能耗,很难实现稀疏神经网络的加速.而另一类基于CPU,GPU的CNN加速方案虽然较为灵活,但是带来很高的能耗.细粒度数据流体系结构打破了传统的控制流结构的限制,展示出了加速DNN的天然优势,它在提供高性能的运算能力的同时也保持了一定的灵活性.为此,提出了一种在基于细粒度数据流体系结构的硬件加速器上加速稀疏的DNN全连接层的方案.该方案相较于原有稠密的全连接层的计算减少了2.44×~6.17×的峰值带宽需求.此外细粒度数据流加速器在运行稀疏全连接层时的计算部件利用率远超过其他硬件平台对稀疏全连接层的实现,平均比CPU,GPU和mGPU分别高了43.15%,34.57%和44.24%.

分类:
  • 期刊
  • >
  • 自然科学与工程技术
  • >
  • 信息科技
  • >
  • 电子信息科学综合
收录:
  • 上海图书馆馆藏
  • Pж(AJ) 文摘杂志(俄)
  • 国家图书馆馆藏
  • 万方收录(中)
  • 文摘与引文数据库
  • 知网收录(中)
  • 维普收录(中)
  • 剑桥科学文摘
  • CSCD 中国科学引文数据库来源期刊(含扩展版)
  • 北大期刊(中国人文社会科学期刊)
  • EI 工程索引(美)
  • JST 日本科学技术振兴机构数据库(日)
  • 统计源期刊(中国科技论文优秀期刊)
关键词:
  • 细粒度数据流
  • 稀疏神经网络
  • 通用加速器
  • 数据重用
  • 高并行性

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

期刊名称:计算机研究与发展

期刊级别:北大期刊

期刊人气:4719

杂志介绍:
主管单位:中科院出版委员会
主办单位:中国科学院计算技术研究所
出版地方:北京
快捷分类:计算机
国际刊号:1000-1239
国内刊号:11-1777/TP
邮发代号:2-654
创刊时间:1958
发行周期:月刊
期刊开本:A4
下单时间:1-3个月
复合影响因子:2.65
综合影响因子:2.48