[发明专利]一种48位混合精度矩阵向量乘法实现方法及装置

说明书

本发明公开了一种48位混合精度矩阵向量乘法实现方法及装置，本发明方法包括：针对48位混合精度矩阵向量乘法y＝αAx+βy，从内存空间取出64位双精度类型的矩阵A中的元素asubgt;ij/subgt;，将各元素asubgt;ij/subgt;强制转换为48位的元素asubgt;ij/subgt;并组成双精度类型的矩阵A′；将矩阵A′暂存到CPU中的向量寄存器中，通过CPU中的运算部件基于矩阵A′计算得到48位混合精度矩阵向量乘法y＝aAx+βy的计算结果。本发明能够在带宽受限时利用混合精度的优势提高数据的传输效率，能够达到解决带宽受限问题的目的，实现矩阵向量乘法运算的加速。

技术领域

本发明涉及微处理器的数据处理加速技术领域，具体涉及一种48位混合精度矩阵向量乘法实现方法及装置。

背景技术

现如今，人工智能、工程科学、图形图像处理等很多领域都有大型矩阵的计算，其中大型矩阵可以有数百行和数百列，尤其对高效顺利地实施矩阵乘法有非常高的要求。如何对访存密集的大型矩阵进行访存结构优化，一直是众多科研工作者关注的重点。

对浮点标量α和β，浮点向量x∈Rⁿ，y∈R^m，以及m行n列的浮点矩阵A_m×n(简称矩阵A)，需要完成以下矩阵向量乘法运算：

y＝αAx+βy，或y＝αA^Tx+βy，

其中，矩阵与向量的乘积Ax表现为矩阵A对一个向量x作用的结果，通过用矩阵A乘以向量x，把向量x变换为另一个向量y。其作用过程是对向量x进行旋转和缩放的综合过程，即线性变换的过程，矩阵A_m×n把向量x∈Rⁿ线性变换到y∈R^m。

根据IEEE 754标准，一个浮点数表示为：(-1)^s×M×2^e。其中s∈{0,1}是符号位，0表示正数，1表示负数。M＝m₀.m₁m₂…m_p是有效数字，其中m₀是隐藏位，规格化的数中，m₀是1，p是尾数位数，m₁m₂…m_p组成尾数部分。e是指数，也称为阶码，采用移码形式。

本申请关注双精度浮点数的运算，即64位double类型的浮点数。在双精度环境中，浮点数由1位符号位，11位阶码，52位尾数组成，考虑到隐藏位，有效数字有53位。两个double类型的浮点数a＝(-1)^s1×M1×2^e1和b＝(-1)^s2×M2×2^e2之间的乘积是通过把两个带偏差的指数e1和e2相加并减去一个偏差，获得乘积的新指数。然后将把两个有效位M1和M2相乘，接着根据需要进行规格化。指数的大小用来检查上溢和下溢，然后对乘积进行舍入。当舍入引起进一步的规格化时，需要再次检查指数的大小。最后如果两个数的符号位相异，就将符号位设为1，如果相同，就设为0。

一般的线性矩阵的存储方式有两种，行主序和列主序。例如，对于矩阵A_m×n，a_ij是它的第i行第j列的元素，即：

以行主序存储的矩阵为：