[发明专利]一种基于GEMM的深度神经网络加速方法和系统

说明书

本发明属于GEMM运算加速技术领域，为一种基于GEMM的深度神经网络加速方法和系统，该方法包括步骤：首先判断输入的矩阵乘法为规则矩阵乘法或不规则矩阵乘法；对于不同类型矩阵乘法采取不同分片方式：若为规则矩阵乘法，则遍历预制定分片策略选择最佳策略，若为不规则矩阵乘法，则首先根据预先制定的策略生成分片策略然后再进行策略选择；在选择分片策略时以Kernel Occupancy为依据；按照所选分片策略对矩阵进行分片；对矩阵片进行计算并合并计算结果。本发明通过GEMM利用两种不同的动态分片方式和KernelOccupancy，提高分片尺寸的适配度以减少不必要的内存加载次数同时提高CU的占有率。

技术领域

本发明涉及于GEMM运算加速领域，具体涉及一种基于GEMM的深度神经网络加速方法和系统。

背景技术

GEMM(General Matrix Multiplication)通用矩阵乘法是一种应用广泛的线性代数运算，其计算形式为：CαAB+βC，其中A、B、C为矩阵，α、β为标量。GEMM作为高性能计算的基础模块，其应用范围极为广泛，包括统计学、科学计算等传统领域以及深度学习、大数据分析等新兴领域。

不同领域和应用涉及到的GEMM运算的大小和形状通常是不同的，如在科学计算、大数据分析等领域中，需要处理的通常是大尺寸矩阵，而在深度神经网络应用中，出现的通常是中小型矩阵乘法。

cuBlas和rocBlas是目前常用的线性代数计算库，是目前大多数涉及矩阵运算应用的核心库。在实际应用中，cuBlas和rocBlas的GEMM运算表现受输入矩阵的大小和形状影响，在以往的实践中，二者在大规模规则矩阵乘法上的表现优异，而在中小矩阵以及形状不规则(指矩阵行列数相差大的情况)矩阵乘法上表现较差，其中原因主要是此时的计算规模远小于GPU的计算能力以及与内存的过多交互带来不必要的内存访问代价。

批量矩阵乘法是一种优化中小矩阵乘法的典型做法，如在MAGMA-Batched方案中，通过汇集一批中小矩阵输入到批矩阵乘法内核进行计算来提高对GPU计算资源的利用。然而批矩阵的做法需要等待矩阵的累积，具有一定的时延，在一些场景下加速效果并不明显。且在深度神经网络中，层与层之间相互连接，当前层以上一层的输出为输入，难以应用到批处理方法中。因此，在深度神经网络中，优化单个中小矩阵乘法仍具有一定意义。

目前针对矩阵乘法的优化通常默认为对规则矩阵乘法的优化，然而这些优化方法通常无法在不规则矩阵乘法上取得较好的表现。而不规则矩阵乘法在实际应用场景中十分常见，尤其是在深度学习领域中，深度神经网络所涉及的GEMM运算中的矩阵通常具有维度较小且不规则的特点。以卷积神经网络为例，其中的卷积操作通常转化为矩阵乘法进行计算，在卷积神经网络ResNet中，使用ImtoCol算法对其中一个卷积操作进行转化，得到的矩阵乘法一个维度超过12000，而另一个维度仅为64。

GEMM运算通常包括矩阵片和运算，若将规则矩阵乘法和不规则矩阵乘法混为一谈，采用相同的分片策略，可能出现因分片策略不适配导致矩阵片小而多的情况，从而引入不必要的内存加载次数，影响整体效率。

发明内容

为解决现有技术所存在的技术问题，本发明提供一种基于GEMM的深度神经网络加速方法和系统，通过针对规则矩阵乘法和不规则矩阵乘法采用两种不同的动态分片方式同时结合Kernel Occupancy概念，提高分片尺寸的适配度以减少不必要的内存加载次数同时提高CU的占有率。

本发明的第一个目的在于提供一种基于GEMM的深度神经网络加速方法。

本发明的第二个目的在于提供一种基于GEMM的深度神经网络加速系统。

本发明的第一个目的可以通过采取如下技术方案达到：

一种基于GEMM的深度神经网络加速方法，所述方法包括：

S1、判断输入的矩阵乘法为规则矩阵乘法或不规则矩阵乘法；