[发明专利]可扩展多精度数据流水线系统和方法

说明书

一种可扩展多精度数据流水线系统，包括：本地缓存器，其以本地存储格式存储输入本地数据集；耦接到本地缓存器的输入张量整形器，其读取输入本地数据集，并将输入本地数据集转换为具有向量宽度N乘以张量长度L的张量格式的输入张量数据集；耦接到输入张量整形器的级联流水线，其使输入张量数据集路由通过至少一个函数级，从而得到输出张量数据集；耦接到级联流水线的输出张量整形器，其将输出张量数据集转换为具有本地存储格式的输出本地数据集，并且其中输出张量整形器将输出本地数据集写入本地缓存器。

技术领域

本公开涉及人工神经网络，并且尤其涉及提供了用于计算人工神经网络中的非线性和算术函数的可扩展多精度数据流水线系统和方法。

背景技术

人工神经网络中利用了非线性函数。大多数当前的人工神经网络依赖于中央处理单元 (CPU)和/或图形处理单元(GPU)架构来执行非线性函数，这降低了硬件利用率/效率，并且在大多数计算均由硬件专用集成电路(ASIC)进行时，停止或暂停数据管道，使得中间计算可返回CPU/GPU以执行非线性计算，然后使用CPU/GPU来计算最终结果或者将中间结果再次发送回硬件。缺少可提供通用解决方案以满足不同人工神经网络架构的各种需求的通用架构。

发明内容

一种示例可扩展多精度数据流水线系统，包括以下中的至少之一：本地缓存器，其以本地存储格式存储输入本地数据集；耦接到所述本地缓存器的输入张量整形器，其读取所述输入本地数据集，并将所述输入本地数据集转换为输入张量数据集，所述输入张量数据集具有向量宽度N乘以张量长度L的张量格式；耦接到所述输入张量整形器的级联流水线，其使所述输入张量数据集路由通过至少一个函数级，从而得到输出张量数据集；耦接到所述级联流水线的输出张量整形器，其将所述输出张量数据集转换为具有所述本地存储格式的输出本地数据集，并且其中所述输出张量整形器将所述输出本地数据集写入所述本地缓存器。

在其中一个实施例中，所述的可扩展多精度数据流水线系统进一步包括耦接到所述级联流水线的封装器，其用于将多个函数级融合成融合运算。

在其中一个实施例中，所述级联流水线允许以内联方式计算多个运算，并节省存储器带宽。

在其中一个实施例中，所述的可扩展多精度数据流水线系统进一步包括所述至少一个函数级内的逐元素级，其沿着所述张量长度L在逐个元素的基础上处理所述输入张量数据集。

在其中一个实施例中，所述的可扩展多精度数据流水线系统进一步包括所述至少一个函数级内的逐张量级，其处理所述输入张量数据。

在其中一个实施例中，所述的可扩展多精度数据流水线系统进一步包括所述至少一个函数级内的量化调整器，其通过所述至少一个函数级动态地调整量化。

在其中一个实施例中，所述至少一个函数级保留中间步骤值的定点表示法，并定义局部优化的数据表示，以实现动态范围。

在其中一个实施例中，所述中间步骤值包括输入值、结果值和输出值中的至少一个。

在其中一个实施例中，所述的可扩展多精度数据流水线系统进一步包括所述至少一个函数级内的归一化器，所述归一化器将所述输入张量数据集标准化为较小的范围。

在其中一个实施例中，所述的可扩展多精度数据流水线系统进一步包括所述至少一个函数级内的查找级，其将经标准化的输入张量数据集映射到索引存储器存储，所述索引存储器存储输出所述经标准化的输入张量数据集与用于确定存储器存储中的查找位置的参考值之间的差。

一种示例可扩展多精度数据流水线方法，包括以下中的至少之一：读取以本地存储格式存储的输入本地数据集；将所述输入本地数据集转换为输入张量数据集，所述输入张量数据集具有向量宽度N乘以张量长度L的张量格式；使所述输入张量数据集路由通过至少一个函数级，从而得到输出张量数据集；将所述输出张量数据集转换为具有所述本地存储格式的输出本地数据集，并将所述输出本地数据集写入本地缓存器。