[发明专利]用于在神经网络中处理数据的静态生成的经编译表示

权利要求书

1.一种电子装置，其包括：

本地高速缓存存储器；

存储器，所述存储器存储输入矩阵A，输入矩阵A具有在通过神经网络处理输入数据实例时将使用的值；以及

处理器，所述处理器被配置为：

生成经编译表示，所述经编译表示包括用于在通过所述神经网络处理输入数据实例时从输入矩阵A获取数据的值，所述值包括输入矩阵A中针对多个线程中的每个线程的基址和相对偏移，所述相对偏移是将由所述线程处理的输入矩阵A的元素之间的距离；以及

在所述本地高速缓存存储器中存储包括针对每个线程的所述基址和所述相对偏移的所述经编译表示。

2.如权利要求1所述的电子装置，其中当生成所述经编译表示时，所述处理器被配置为：

根据每个线程的线程标识符(ID)、输入矩阵A和/或输出矩阵C的维数、输入矩阵A和/或输出矩阵C的元素的性质以及卷积过滤器性质中的一些或全部来计算输入矩阵A中针对所述线程的所述基址。

3.如权利要求1所述的电子装置，其中当生成所述经编译表示时，所述处理器被配置为：

根据输入矩阵A和/或输出矩阵C的维数、输入矩阵A和/或输出矩阵C的元素的性质以及过滤器性质中的一些或全部来计算所述相对偏移。

4.如权利要求1所述的电子装置，其中：

所述存储器存储输入矩阵B，输入矩阵B具有在通过神经网络处理输入数据实例时将使用的值；以及

所述处理器还被配置为：

使用所述线程中的每个来处理输入矩阵A，所述处理包括使用所述本地高速缓存存储器中的所述经编译表示来识别存储器中的位置，将从所述位置获取的输入矩阵A的元素中的值与来自输入矩阵B的对应位置处的元素的值一起用作通过所述线程的一个或多个通用矩阵乘法(GEMM)运算的输入。

5.如权利要求4所述的电子装置，其中在使用所述线程中的每个来处理输入矩阵A时，所述处理器被配置为：

从所述本地高速缓存存储器中的输入矩阵A的所述经编译表示中获取用于输入矩阵A的每个线程的所述基址；

在输入矩阵A的元素有待处理时，对于所述线程中的活动线程：

从所述经编译表示获取下一个相对偏移；

将所述活动线程的基址增加所述下一个相对偏移；

从所述存储器中由所述活动线程的基址识别的位置处的输入矩阵A的元素中读取第一值；

从与输入矩阵A的所述元素相关联的存储器位置处的输入矩阵B的元素中读取第二值；

将所述第一值和所述第二值用作GEMM运算的输入；以及

将所述GEMM运算的结果存储在所述存储器中的输出矩阵C中。

6.如权利要求5所述的电子装置，其中所述处理器还被配置为使用索引来与输入矩阵B的基址相结合地获取所述相对偏移以从输入矩阵B读取所述第二值。

7.如权利要求5所述的电子装置，其中在将所述GEMM运算的所述结果存储在输出矩阵C中时，所述处理器还被配置为：

将每个结果存储在输出矩阵C中基于输入矩阵A中读取所述第一值的位置确定的输出矩阵C中的位置处。

8.如权利要求4所述的电子装置，其中输入矩阵A和输入矩阵B中的所述值分别包括与输入数据实例相关联的输入值和权重，所述输入值和权重将用于通过所述神经网络处理所述输入数据实例。

9.如权利要求4所述的电子装置，其中输入矩阵A和输入矩阵B的维数大于用于所述GEMM运算的维数。

10.如权利要求1所述的电子装置，其中所述本地高速缓存存储器通过快速访问接口耦合到处理电路，所述快速访问接口实现比所述存储器的访问更快的访问。