计算机工程与应用

2020, v.56;No.963(20) 124-131

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

AlexNet改进及优化方法的研究
Research on AlexNet Improvement and Optimization Method

郭敏钢;宫鹤;

摘要(Abstract):

通过对Normalization、优化器、激活函数三方面对AlexNet卷积神经网络进行了改进及优化。针对LRN(Local Response Normalization)不存在可学习参数,提出了用WN(Weight Normalization)来代替LRN,同时将WN置于所有池化层(Pooling layer)之后,提高了AlexNet模型训练的准确率;通过对比分析Adam、RMSProp、Momentum三种优化器在不同学习率(Learning rate)下对AlexNet模型训练的影响,并得出了相应的学习率的优化区间,提高了AlexNet在Optimizer的学习率区间选择上的准确性;针对AlexNet中ReLU激活函数存在的部分权重无法更新以及梯度爆炸问题,提出了ReLU6与Swish的融合分段函数算法,提升了AlexNet模型训练收敛速度以及准确率的同时也缓解了过拟合现象的发生。

关键词(KeyWords): AlexNet;卷积神经网络(CNN);Normalization;优化器;激活函数

Abstract:

Keywords:

基金项目(Foundation): 吉林省教育厅项目(No.20170204038NY);; 吉林省发改委项目(No.2014Y108);; 长春市科技局项目(No.12SF31)

作者(Author): 郭敏钢;宫鹤;

Email:

DOI:

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享