郭敏钢;宫鹤;

• 1:吉林农业大学信息技术学院
• 2:吉林农业大学吉林省智能环境工程研究中心
• 3:吉林农业大学吉林省农业物联网科技协同创新中心

摘要(Abstract)：

针对卷积神经网络在性耗比上的不足,提出了异构式CPU+GPU的协同计算模型,在模型计算过程中使CPU负责逻辑性强的事物处理和串行计算,使GPU执行高度线程化的并行处理任务。通过实验测试与单GPU训练、单CPU训练进行对比,结果表明异构式CPU+GPU计算模型在性耗比上更加优异。针对在卷积神经网络中Swish激活函数在反向传播求导误差梯度时涉及参数较多所导致的计算量较大,收敛速度慢,以及ReLU激活函数在x负区间内导数为零所导致的负梯度被置为零且神经元可能无法被激活的问题,提出了新的激活函数ReLU-Swish。通过测试训练对比并分析结果,将Swish激活函数小于零与ReLU激活函数大于零的部分组成分段函数,并且通过CIFAR-10和MNIST两个数据集进行测试对比实验。实验结果表明,ReLU-Swish激活函数在收敛速度以及模型测试训练的准确率上对比Swish激活函数及ReLU激活函数有较明显的提高。

关键词(KeyWords)： Tensorflow;CPU+GPU;卷积神经网络;Swish激活函数;ReLU激活函数;ReLU-Swish激活函数

Abstract:

Keywords:

基金项目(Foundation): 吉林省教育厅项目（No.20170204038NY）;; 吉林省发改委项目（No.2014Y108）;; 长春市科技局项目（No.12SF31）

作者(Author): 郭敏钢;宫鹤;

Email:

DOI:

参考文献(References)：

• [1]Lecun Y,Bengio Y,Hinton G.Deep learning.[J].Nature,2015,521:436.
• [2]Tensorflow官方网站[EB/OL].(2016-11-25).https：//www.tensorflow.org/.
• [3]Lecun Y,Bottou L,Bengio Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.
• [4]Krizhevsky A,Sutskever I,Hinton G.Image Net classification with deep convolutional neural networks[C]//NIPS Curran Associates Inc,2012.
• [5]李彦冬，郝宗波，雷航.卷积神经网络研究综述[J].计算机应用，2016,36(9):2508-2515.
• [6]Silver D,Huang A,Maddison C J,et al.Mastering the game of go with deep neural networks and tree search[J].Nature,2016,529:484-489.
• [7]戴凤智，魏宝昌，欧阳育星，等.基于深度学习的视频跟踪研究进展综述[J].计算机工程与应用，2019,55(10):16-29.
• [8]姚群力，胡显，雷宏.深度卷积神经网络在目标检测中的研究进展[J].计算机工程与应用，2018,54(17):1-9.
• [9]方路平，何杭江，周国民.目标检测算法研究综述[J].计算机工程与应用，2018,54(13):11-18.
• [10]陈寿宏，柳馨雨，马峻，等.深度卷积神经网络胸片肺结节分类识别研究[J].计算机工程与应用，2018,54(24):176-181.
• [11]Morrison A F,Epifanovsky E,Herbert J M.Double-buffered,heterogeneous CPU+GPU integral digestion algorithm for single-excitation calculations involving a large number of excited states[J].Journal of Computational Chemistry,2018,39(26):2173-2182.
• [12]邓力，陈晓翔，林嘉宇.基于GPU的CUDA应用开发环境构架[J].微处理机，2013,34(1):1-3.
• [13]米硕，田丰收，孙瑞彬，等.Swish激活函数在中小规模数据集上的性能表现[J].科技创新与应用，2018(1):4-5.
• [14]庞涛.开源深度学习框架发展现状与趋势研究[J].互联网天地，2018(4):46-54.
• [15]Jia Y Q,Shelhamer E.Caffe:Convolutional architecture for fast feature embedding[C]//Proceedings of the ACMInternational Conference on Multimedia,2014:675-678.
• [16]周飞燕，金林鹏，董军.卷积神经网络研究综述[J].计算机学报，2017,40(6):1229-1251.
• [17]单传辉.深度单峰梯形神经网络[J].计算机工程与应用，2018,54(23):7-13.
• [18]Philipp P,Felix V.Optimal approximation of piecewise smooth functions using deep Re LU neural networks[J].ar Xiv:1709.05289,2017.
• [19]He K,Zhang X,Ren S,et al.Delving deep into rectifiers:Surpassing human-level performance on Image Net classification[C]//Proceedings of International Conference on Computer Vision,2015:1026-1034.
• [20]Clevert D A,Unterthiner T,Hochreiter S.Fast and accurate deep network learning by Exponential Linear Units(ELUs)[J].Computer Science,2015,5(2):716-713.