计算机工程与应用

2021, v.57;No.989(22) 86-91

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

基于无效卷积核权值回退的神经网络优化方法
Neural Network Optimization Method Based on Invalid Filters Weight Regression

顾上航;张利军;郭越超;徐勇;

摘要(Abstract):

在神经网络模型训练过程中,存在部分卷积核退化为无效卷积核,在神经网络推理过程失去作用的问题。针对该问题,提出了一种仅使用单个模型就能在训练过程中激活无效卷积核,提高模型性能的方法。首先将初始模型训练至收敛时刻;然后通过L1正则和卷积核相关性两种方式衡量卷积核的有效性;最后将无效卷积核的权值回退到模型训练的初期阶段并对模型进行重训练。在CIFAR-10、CIFAR-100等图像分类的数据集上的实验结果表明,无论是在残差网络还是在轻量级网络上,提出的方法都能有效地恢复无效卷积核,提高神经网络模型精度。相比之前的方法,该方法在低代价下达到了最佳效果,在图像分类任务上平均提高了0.93%的准确率。

关键词(KeyWords): 卷积神经网络(CNN);图像分类;卷积核替换;卷积核有效性

Abstract:

Keywords:

基金项目(Foundation): 深圳市科技创新基金(JCYJ20180306172101694)

作者(Author): 顾上航;张利军;郭越超;徐勇;

Email:

DOI:

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享