[发明专利]矩阵乘法计算方法和计算设备

说明书

本申请公开了一种矩阵乘法计算方法和计算装置，该方法包括：提供多个矩阵乘法实现方案，所述矩阵乘法实现方案对应第一矩阵的行参数、列参数和第二矩阵的列参数；根据所述第一目标矩阵的行参数、列参数和第二目标矩阵的列参数，确定对应的目标矩阵乘法实现方案；利用确定出的目标矩阵乘法实现方案计算所述第一目标矩阵和第二目标矩阵的乘积。本发明公开的方案可以让程序在运行过程中总是选取最优kernel。在相乘矩阵的行参数和列参数相对比较固定的情况下，能够自动选择最优实现方案，减少执行主体例如GPU的工作负担，保证执行主体的处理性能，提高执行主体的处理速度。

技术领域

本申请涉及计算机领域，特别涉及一种矩阵乘法计算方法和计算设备。

背景技术

图形处理器(GPU)作为单指令多数据流(SIMD)处理设备，在计算矩阵乘法方面，有着天然的优势。近些年随着GPU性能的大幅提升，以及通用计算图形处理器(GPGPU)技术的不断发展，越来越多的应用开始采用在GPU上进行矩阵乘法计算。深度学习应用的主要计算时间都消耗在矩阵乘法相关的操作上，所以，若能够提高矩阵乘法的计算性能，可以在大范围内提高多种应用的性能，对生产和研究效率都产生显著影响。

在使用GPU进行矩阵乘法时，通常会选择多个线程块，每个线程块负责计算结果矩阵的一部分；具体来说，对于1024x1024和1024x1024大小的两个矩阵相乘，其结果矩阵大小也为1024x1024；在计算中，可以用4x4个线程块来计算1024x1024大小的结果矩阵，因此每个线程块负责计算该结果矩阵中256x256大小；也可以用8x8的线程块，每个线程块负责计算结果矩阵中128x128大小。负责计算256x256大小矩阵，128x128大小矩阵的部分称之为kernel(即矩阵计算的实现方案)；选择用8x8大小线程块还是4x4大小的线程块的方式，就是本专利需要解决的问题。在实际调用过程中，通常根据不同矩阵大小，选择特定kernel进行计算。已有的kernel选择方法往往是根据矩阵大小进行简单地判断选取对应kernel。而这种方法在实际计算中，因为每个矩阵的行参数和列参数的可能情况过多，通常难以选择最优kernel，造成GPU计算时间延长，整个计算设备性能下降。

发明内容

鉴于现有技术存在的问题，本发明的目的是提出一种矩阵乘法计算方法，以解决现有技术存在的不能正确选择kernel导致GPU计算时间延长，整个程序性能下降的问题。

为了解决上述问题，本申请一实施例公开一种矩阵乘法计算方法，包括：

提供多个矩阵乘法实现方案，所述矩阵乘法实现方案对应第一矩阵的行参数、列参数和第二矩阵的列参数；

确定第一目标矩阵的行参数、列参数和第二目标矩阵的列参数；

根据所述第一目标矩阵的行参数、列参数和第二目标矩阵的列参数，确定对应的目标矩阵乘法实现方案；

利用确定出的目标矩阵乘法实现方案计算所述第一目标矩阵和第二目标矩阵的乘积。

在本发明矩阵乘法计算方法的一实施方式中，在根据所述第一目标矩阵的行参数、列参数和第二目标矩阵的列参数，确定对应的目标矩阵乘法实现方案的步骤之前，所述方法还包括：

为所述矩阵乘法实现方案分配识别ID；

将所述矩阵乘法实现方案的识别ID和该实现方案对应的第一矩阵的行参数、列参数和第二矩阵的列参数存入查找表。

在本发明矩阵乘法计算方法的一实施方式中，将所述矩阵乘法实现方案的识别ID和该实现方案对应的第一矩阵的行参数、列参数和第二矩阵的列参数存入查找表的步骤包括：

将所述矩阵乘法实现方案的第一矩阵的行参数、列参数和第二矩阵的列参数生成键值；

将所述矩阵乘法实现方案中的识别ID和键值组成键值对，存储于所述查找表中。