计算机工程与应用

2020, v.56;No.944(01) 158-164

[打印本页] [关闭]
本期目录(Current Issue) | 过刊浏览(Past Issue) | 高级检索(Advanced Search)

基于Tensorflow对卷积神经网络的优化研究
Optimization of Convolutional Neural Network Based on Tensorflow

郭敏钢;宫鹤;

摘要(Abstract):

针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异。针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在x负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish。通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验。实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高。

关键词(KeyWords): Tensorflow;CPU+GPU;卷积神经网络;Swish激活函数;ReLU激活函数;ReLU-Swish激活函数

Abstract:

Keywords:

基金项目(Foundation): 吉林省教育厅项目(No.20170204038NY);; 吉林省发改委项目(No.2014Y108);; 长春市科技局项目(No.12SF31)

作者(Author): 郭敏钢;宫鹤;

Email:

DOI:

参考文献(References):

扩展功能
本文信息
服务与反馈
本文关键词相关文章
本文作者相关文章
中国知网
分享