[发明专利]基于神经网络中数据稀疏特性的智能训练加速方法及系统

权利要求书

1.一种基于神经网络中数据稀疏特性的智能训练加速方法，其特征在于，包括以下步骤：

步骤一：采用贝叶斯优化器算法针对当前训练系统搜索出合适的GPU块数、网格大小；测出GPU与CPU之间的转移带宽，使用不同数据大小、不同稀疏度的样本对压缩、解压缩算法进行预运行，收集信息并拟合成数据大小、稀疏度与压缩/解压缩时间的关系曲线，建立获得压缩/解压缩算法的性能模型；

步骤二：收集神经网络模型训练时的数据信息，包括ReLu激活层输出的数据的大小、数据稀疏度信息以及ReLu激活层下一层的训练时间；

步骤三：根据收集到的数据信息以及性能模型进行智能决策：

若性能模型对应压缩后的开销小于原始数据的转移开销，则在神经网络模型训练过程中输出数据转移时进行对应的压缩/解压缩，反之不压缩；

其中，性能模型对应的压缩后的开销、原始数据的转移开销由下式表示：

T’(s) = max(2×(s / b) – h_f – h_b , 0)

T(s,r,tc,tdc) = tc + tdc + O_f + O_b

O_f =max(s×(1 - r) / b – h_f , 0)

O_b =max(s×(1 - r) / b – h_b , 0)

式中T’(s)表示原始数据的转移开销，T(s,r,tc,tdc)表示性能模型对应的压缩后的开销，s为数据大小，b为GPU与CPU之间的转移带宽，h_f与h_b分别表示前向传播与后向传播过程中ReLu激活层下一层的训练时间；tc、tdc分别表示压缩、解压缩的操作时间；O_f、O_b分别表示被压缩后数据在前向传播与后向传播过程中的转移开销，r表示数据的稀疏度，s×(1-r)表示压缩后数据的大小；

步骤四：根据智能决策对神经网络模型进行训练；

步骤五：重复执行步骤二至四，直至训练完成。

2.根据权利要求1所述的智能训练加速方法，其特征在于，包括多个压缩与解压缩算法的性能模型。

3.根据权利要求1所述的智能训练加速方法，其特征在于，所述压缩算法为ZVC压缩算法和/或RLE压缩算法。