基于卷积神经网络的随机梯度下降算法
作者：王功鹏; 段萌; 牛常勇
摘要：为解决卷积神经网络(CNN)中随机梯度下降算法(SGD)的学习率设置不当对SGD算法的影响,提出一种学习率自适应SGD的更新算法,随着迭代的进行该算法使学习率呈现周期性的改变。针对CNN中Relu激活函数将CNN中的阈值为负的神经元丢弃的缺陷,设计选择LeakyRelu作为激活函数的CNN。实验验证了使用该激活函数的有效性,实验结果表明,采用上述学习率更新算法的SGD可以使网络快速收敛,提高了学习正确率;通过将LeakyRelu激活函数和采用上述学习率更新算法的SGD相结合,进一步提高CNN的学习正确率。
分类：
- 期刊
- >
- 自然科学与工程技术
- >
- 信息科技
- >
- 电子信息科学综合
收录：
- 北大期刊(中国人文社会科学期刊)
- 统计源期刊(中国科技论文优秀期刊)
- 知网收录(中)
- 维普收录(中)
- 万方收录(中)
- SA 科学文摘(英)
- JST 日本科学技术振兴机构数据库(日)
- Pж(AJ) 文摘杂志(俄)
- 哥白尼索引(波兰)
- 国家图书馆馆藏
- 上海图书馆馆藏
关键词：
- 卷积神经网络
- 随机梯度下降算法
- 自适应学习率更新算法
- leakyrelu激活函数
- 快速收敛
注：因版权方要求，不能公开全文，如需全文，请咨询杂志社
