正则化参数求解方法研究

作者:杨浩; 马建红

摘要:针对BP神经网络算法训练过程中出现的过拟合问题,提出了利用一阶原点矩,二阶原点矩,方差和极大似然估计概念的推广来计算L2正则化中正则化参数λ值的方法.该方法通过对算法数据集[X,Y]中的X矩阵进行运算得到的四个λ值,BP神经网络算法训练时通常采用的是贝叶斯正则化方法,贝叶斯正则化方法存在着对先验分布和数据分布依赖等问题,而利用上述概念的推广计算的参数代入L2正则化的方法简便没有应用条件限制;在BP神经网络手写数字识别的实验中,将该方法与贝叶斯正则化方法应用到实验中后的算法识别结果进行比较,正确率提高了1.14-1.50个百分点;因而计算得到的λ值应用到L2正则化方法与贝叶斯正则化方法相比更能使得BP神经网络算法的泛化能力强,证明了该算法的有效性.

分类:
  • 期刊
  • >
  • 自然科学与工程技术
  • >
  • 信息科技
  • >
  • 自动化技术
收录:
  • SA 科学文摘(英)
  • 剑桥科学文摘
  • 国家图书馆馆藏
  • 上海图书馆馆藏
  • 知网收录(中)
  • 维普收录(中)
  • 万方收录(中)
  • 统计源期刊(中国科技论文优秀期刊)
关键词:
  • bp神经网络
  • 贝叶斯正则化
  • 矩法估计
  • 极大似然估计
  • 方差
  • l2正则化

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

期刊名称:计算机测量与控制

期刊级别:统计源期刊

期刊人气:10976

杂志介绍:
主管单位:中国航天科工集团公司
主办单位:中国计算机自动测量与控制技术协会
出版地方:北京
快捷分类:计算机
国际刊号:1671-4598
国内刊号:11-4762/TP
邮发代号:82-16
创刊时间:1993
发行周期:月刊
期刊开本:A4
下单时间:1-3个月
复合影响因子:0.55
综合影响因子:1