[发明专利]计算装置以及用于浮点数计算的方法

说明书

本公开的实施例涉及计算装置和用于浮点数计算的方法，涉及计算机领域。计算装置包括：第一输入端口，被配置为接收第一向量和第二向量，第一向量中的每个第一浮点数和第二向量中的每个第二浮点数均具有第一浮点精度；转换模块，与第一输入端口相耦接，被配置为将第一浮点数和第二浮点数分别转换为均具有第二浮点精度的第一四元组和第二四元组，以生成第三向量和第四向量，第一四元组和第二四元组的点积等于第一浮点数和第二浮点数的乘积，第二浮点精度小于第一浮点精度；以及点积运算模块，与转换模块相耦接，被配置为对第三向量和第四向量进行点积运算，以生成点积运算结果。由此，能够以相对低的硬件成本实现高精度浮点数计算。

技术领域

本公开的实施例总体涉及计算机领域，具体涉及计算装置以及用于浮点数计算的方法。

背景技术

通用矩阵乘(General Matrix Multiply，GEMM)在人工智能应用中扮演重要角色。BF16最近成为GEMM浮点数实现的工业标准，其具有1个符号位、8个指数位和7个尾数位。但是一些训练模型要求比BF16更高的浮点精度。另一方面，FP32(其具有1个符号位、8个指数位和23个尾数位)在GEMM实现中具有相当高的硬件成本。

发明内容

提供了一种计算装置、计算设备以及用于计算设备中的数据加载和执行的可编程调度的方法，能够增强灵活性、吞吐量和整体性能。

根据本公开的第一方面，提供了一种计算装置。该计算装置包括：第一输入端口，被配置为接收第一向量和第二向量，第一向量中的每个第一浮点数和第二向量中的每个第二浮点数均具有第一浮点精度；转换模块，与第一输入端口相耦接，被配置为将第一浮点数和第二浮点数分别转换为均具有第二浮点精度的第一四元组和第二四元组，以生成第三向量和第四向量，第一四元组和第二四元组的点积等于第一浮点数和第二浮点数的乘积，第二浮点精度小于第一浮点精度；以及点积运算模块，与转换模块相耦接，被配置为对第三向量和第四向量进行点积运算，以生成点积运算结果。

根据本公开的第二方面，提供了用于浮点数计算的方法。该方法包括：使用第一输入端口接收第一向量和第二向量，第一向量中的每个第一浮点数和第二向量中的每个第二浮点数均具有第一浮点精度；使用转换模块，将第一浮点数和第二浮点数分别转换为均具有第二浮点精度的第一四元组和第二四元组，以生成第三向量和第四向量，第一四元组和第二四元组的点积等于第一浮点数和第二浮点数的乘积，第二浮点精度小于第一浮点精度；以及使用点积运算模块，对第三向量和第四向量进行点积运算，以生成点积运算结果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。

图1是根据本公开的实施例的计算装置100的示意图。

图2示出了根据本公开的实施例的转换模块200的示意框图。

图3示出了根据本公开的实施例的用于浮点数计算的方法300的示意图。

图4示出了根据本公开的实施例的用于将第一浮点数和第二浮点数分别转换为均具有第二浮点精度的第一四元组和第二四元组的方法400的示意图。

图5示出了根据本公开的实施例的用于将第三浮点数转换为具有第二浮点精度的第一二元组的方法500的示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。