基于自适应学习速率的改进型BP算法研究Research of improved BP algorithm based on self-adaptive learning rate
杨甲沛;李锵;刘郑;袁晓琳;
摘要(Abstract)：
从感知器的结构及学习规则无法执行异或问题出发,用神经网络中的BP网络来解决异或问题,消除了感知器的局限性,但BP算法在具体实现中常会出现一些问题,如:收敛速度缓慢且与其他参数存在较强的耦合关系,局部极小等。对此,从前馈神经网络的原理出发,提出了一种自适应学习速率因子方法,用于对BP算法的改进,并将改进后的算法用于二维XOR问题及多维XOR问题的学习中。仿真实验证明,改进后的算法可显著提高网络的学习速度,且学习过程具有良好的收敛性及较强的鲁棒性。
关键词(KeyWords)： 神经网络;异或;自适应学习速率;反向传播
基金项目(Foundation): 国家自然科学基金No.60641011;; 天津市自然科学基金No.06YFJMJC15900~~
作者(Author): 杨甲沛;李锵;刘郑;袁晓琳;
Email:
DOI:
参考文献(References)：
- [1]Yu Chien-cheng,Tang Yun-ching.To improve the training time of BP neural networks[C]//International Conferences,Info-tech and In-fo-net Proceedings ICII2001,Beijing,2001(3):473-479.
- [2]武妍,张立明.神经网络中将任务学习与模型学习相结合的E-H和E-H-W学习方法[J].电子学报,2004,32(2):278-281.
- [3]Zeng Yu-juan,Wang Xiang-dong,Wang Shou-jue.An improved BP algorithm for pattern recognition[C]//4th International Conference,Signal Processing Proceedings,ICSP’98,Beijing,1998(2):1327-1330.
- [4]张艳霞,林世雄.基于多维离散傅立叶变换的神经网络用于数据逼近和泛化建模[J].计算机工程与应用,2002,36(2):47-48.
- [5]Waleed A,Ahmed M,Saad E S M.Modified back propagation algo-rithm for learning artificial neural networks[C]//18th National Radio Science Conference,Egypt,2001(1):345-352.