[发明专利]可扩展多精度数据流水线系统和方法

权利要求书

1.一种可扩展多精度数据流水线系统，包括：

本地缓存器，其以本地存储格式存储输入本地数据集，其中所述本地存储格式为32位定点、16位定点或8位定点；

耦接到所述本地缓存器的输入张量整形器，其读取所述输入本地数据集，并将所述输入本地数据集转换为输入张量数据集，所述输入张量数据集具有向量宽度N乘以张量长度L的二维张量格式，其中N和L是整数；

耦接到所述输入张量整形器的级联流水线，其使所述输入张量数据集路由通过至少一个函数级，从而得到输出张量数据集；以及

所述至少一个函数级内的逐元素级，其沿着所述张量长度L在逐个元素的基础上处理所述输入张量数据集；

耦接到所述级联流水线的输出张量整形器，其将所述输出张量数据集转换为具有所述本地存储格式的输出本地数据集；并且

其中，所述输出张量整形器将所述输出本地数据集写入所述本地缓存器。

2.根据权利要求1所述的可扩展多精度数据流水线系统，进一步包括耦接到所述级联流水线的封装器，其用于将多个函数级融合成融合运算。

3.根据权利要求1所述的可扩展多精度数据流水线系统，其中，所述级联流水线允许以内联方式计算多个运算，并节省存储器带宽。

4.根据权利要求1所述的可扩展多精度数据流水线系统，进一步包括所述至少一个函数级内的逐张量级，其处理所述输入张量数据。

5.根据权利要求1所述的可扩展多精度数据流水线系统，进一步包括所述至少一个函数级内的量化调整器，其通过所述至少一个函数级动态地调整量化。

6.根据权利要求1所述的可扩展多精度数据流水线系统，其中，所述至少一个函数级保留中间步骤值的定点表示法，并定义局部优化的数据表示，以实现动态范围。

7.根据权利要求6所述的可扩展多精度数据流水线系统，其中，所述中间步骤值包括输入值、结果值和输出值中的至少一个。

8.根据权利要求1所述的可扩展多精度数据流水线系统，进一步包括所述至少一个函数级内的归一化器，所述归一化器将相对较大范围的所述输入张量数据集标准化为较小的范围。

9.根据权利要求7所述的可扩展多精度数据流水线系统，进一步包括所述至少一个函数级内的查找级，其将经标准化的输入张量数据集映射到索引存储器存储，所述索引存储器存储输出所述经标准化的输入张量数据集与用于确定存储器存储中的查找位置的参考值之间的差。

10.一种可扩展多精度数据流水线方法，包括：

读取以本地存储格式存储的输入本地数据集，其中所述本地存储格式为32位定点、16位定点或8位定点；

将所述输入本地数据集转换为输入张量数据集，所述输入张量数据集具有向量宽度N乘以张量长度L的二维张量格式，其中N和L是整数；

使所述输入张量数据集路由通过至少一个函数级，从而得到输出张量数据集；

在所述至少一个函数级中，沿着所述张量长度L在逐个元素的基础上处理所述输入张量数据集；将所述输出张量数据集转换为具有所述本地存储格式的输出本地数据集；以及

将所述输出本地数据集写入本地缓存器。

11.根据权利要求10所述的可扩展多精度数据流水线方法，进一步包括将多个函数级封装成融合运算。

12.根据权利要求10所述的可扩展多精度数据流水线方法，进一步包括在所述至少一个函数级中处理所述输入张量数据集。

13.根据权利要求10所述的可扩展多精度数据流水线方法，进一步包括通过所述至少一个函数级动态地调整量化。