基于知识成熟度的动态正则化神经网络优化方法

作者:邓青; 程建军; 王辉; 邓林

摘要:传统的反向传播(BP)神经网络模型,在隐含层神经元较多时具有非常强大的表征能力,但同时也是因为这个原因,导致训练参数过多,难以避免造成过拟合现象,当训练数据非常有限时情况会更加严重。提出了一种基于知识成熟度的动态正则化神经网络优化方法 L2KM,不同于传统的L2正则化方法采用固定的先验假设,在模型训练的过程中根据学习到知识的成熟度动态地调整正则化参数,实现权值动态衰减。实验结果表明,这种动态正则化的神经网络优化方法能够有效地对抗过拟合,提升知识质量,提高模型的泛化能力。与传统的L2正则化方法相比,误分类率降低了42%左右。

分类:
  • 期刊
  • >
  • 自然科学与工程技术
  • >
  • 信息科技
  • >
  • 无线电电子学
收录:
  • 国家图书馆馆藏
  • 上海图书馆馆藏
  • CSCD 中国科学引文数据库来源期刊(含扩展版)
  • 知网收录(中)
  • 维普收录(中)
  • 统计源期刊(中国科技论文优秀期刊)
  • 北大期刊(中国人文社会科学期刊)
  • 万方收录(中)
  • JST 日本科学技术振兴机构数据库(日)
关键词:
  • bp神经网络
  • 过拟合
  • 正则化

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

期刊名称:电子测量与仪器学报

期刊级别:北大期刊

期刊人气:2365

杂志介绍:
主管单位:中国科学技术协会
主办单位:中国电子学会
出版地方:北京
快捷分类:电子
国际刊号:1000-7105
国内刊号:11-2488/TN
邮发代号:
创刊时间:1987
发行周期:月刊
期刊开本:A4
下单时间:1-3个月
复合影响因子:2.03
综合影响因子:2.58