[发明专利]基于神经网络中数据稀疏特性的智能训练加速方法及系统

说明书

本发明提出了一种基于神经网络中数据稀疏特性的智能训练加速方法，该方法通过对模型进行预训练收集相关数据信息与性能模型信息，并利用深度学习网络的稀疏特性结合压缩与解压缩算法动态减少GPU与CPU之间所需传输的数据量，从而提升系统整体性能。本发明还提出了一种基于神经网络中数据稀疏特性的智能训练加速系统，该系统包括：Profile模块、GPU性能模型模块、决策器以及深度学习训练模块；利用本发明系统进行神经网络训练，能有效提升训练速度和系统整体性能。

技术领域

本发明涉及计算机科学人工智能领域，尤其涉及一种针对于神经网络中数据稀疏特性的智能训练加速方法及系统。

背景技术

深度学习技术的革新大大推动了计算机视觉，自然语言处理，医学等领域的发展。为了追求更高的精度，深度学习模型在训练过程中对样本以及参数数量的需求不断增加，从而需要更大的设备存储空间予以支持。然而以GPU为代表的深度学习加速器的存储容量十分有限，无法保存当前深度学习模型在训练过程中的大量数据，严重制约了深度学习技术的发展。为了解决该问题，目前常用的内存优化方案在训练过程中选择将GPU显存内暂时不需要的部分层数据转移至系统内存，以减轻GPU显存压力，并在后期需要访问该数据前将所需数据转移回GPU显存。然而，大量的数据转移以及GPU-CPU之间有限的转移带宽使得转移时间较长。在模型训练过程中，计算需要等待上阶段转移操作完成才能够继续，长时间的转移等待严重制约了深度学习模型的训练性能。

发明内容

为了解决数据转移内存时间过长而带来的性能问题，本发明提出一种智能训练加速方法，利用深度学习ReLu激活层输出数据的稀疏特性结合压缩算法实现动态决策，选择最适合的压缩算法并决定是否在GPU转出数据前对数据进行压缩操作并在转回后进行解压缩，以减少GPU与CPU之间的数据传输量，减少转移时间，从而加速深度学习模型的整体训练性能。

本发明采用的技术方案具体为：

一种基于神经网络中数据稀疏特性的智能训练加速方法，包括以下步骤：

步骤一：采用贝叶斯优化器（Bayesian Optimization）算法针对当前训练系统搜索出合适的GPU块数（Block Size）、网格大小（Grid Size）。测出GPU与CPU之间的转移带宽，并利用线性回归建立压缩与解压缩算法的性能模型；

步骤二：收集神经网络模型训练时的数据信息，包括ReLu激活层输出的数据的大小、数据稀疏度信息以及ReLu激活层下一层的训练时间；

步骤三：根据收集到的数据信息以及性能模型进行智能决策：

若性能模型对应压缩后的开销小于原始数据的转移开销，则在神经网络模型训练过程中输出数据转移时进行对应的压缩/解压缩，反之不压缩；

其中，性能模型对应的压缩后的开销、原始数据的转移开销由下式表示：

T’(s) = max(2×(s / b) – h_f – h_b , 0)

T(s,r,tc,tdc) = tc + tdc + O_f + O_b

O_f =max(s×(1 - r) / b – h_f , 0)

O_b =max(s×(1 - r) / b – h_b , 0)