[发明专利]小芯片集成的机器学习加速器

权利要求书

1.一种方法，所述方法包括：

将第一小芯片的第一部分配置为高速缓存；

经由所述第一部分执行高速缓存操作；

将所述小芯片的所述第一部分的至少第一子部分配置为可直接访问的存储器；以及

由所述第一小芯片内的机器学习加速器用所述第一子部分执行机器学习操作。

2.如权利要求1所述的方法，其中：

执行高速缓存操作包括针对在与所述第一小芯片分开的管芯上的处理核心执行高速缓存操作。

3.如权利要求2所述的方法，其中：

针对所述处理核心执行高速缓存操作包括以下一者或多者：存储从所述处理核心的高速缓存逐出的高速缓存行，或者响应于所述处理核心的高速缓存中的未命中而将高速缓存行提供到所述处理核心。

4.如权利要求1所述的方法，其中：

响应于来自在与所述第一小芯片分开的管芯上的处理核心的调度器或计算单元的请求而将所述第一部分配置为高度缓存或将所述第一子部分配置为可直接访问的存储器。

5.如权利要求1所述的方法，所述方法还包括：

响应于与所述小芯片分开的处理器核心的请求而将数据存储在被配置为可直接访问的存储器的所述第一子部分内。

6.如权利要求5所述的方法，其中：

执行机器学习操作包括执行将所述数据作为输入消耗的所述机器学习操作。

7.如权利要求1所述的方法，其中所述机器学习操作包括矩阵乘法运算。

8.如权利要求1所述的方法，其中：

所述第一部分包括所述第一小芯片的内部存储器的第一量的存储器；并且

所述方法还包括：在经由所述第一部分执行所述高速缓存操作时，用所述存储器的被配置为可直接访问的存储器的第二部分执行机器学习操作。

9.如权利要求1所述的方法，所述方法还包括：

将数据传输到第二小芯片或从所述第二小芯片接收数据，所述第二小芯片与请求所述第一小芯片执行机器学习操作的处理核心物理地分开，其中经由所述第一小芯片与所述第二小芯片之间的不流过所述处理核心的直接连接来传输或接收所述数据。

10.一种装置，所述装置包括：

一个或多个机器学习加速器；以及

小芯片存储器，所述小芯片存储器被配置为：

将所述小芯片存储器的第一部分配置为高速缓存；

经由所述第一部分执行高速缓存操作；

将所述小芯片存储器的所述第一部分的至少第一子部分配置为可直接访问的存储器；以及

由所述一个或多个机器学习加速器中的机器学习加速器用所述第一子部分执行机器学习操作。

11.如权利要求10所述的装置，其中：

执行高速缓存操作包括针对在与所述小芯片存储器分开的管芯上的处理核心执行高速缓存操作。

12.如权利要求11所述的装置，其中：

针对所述处理核心执行高速缓存操作包括以下一者或多者：存储从所述处理核心的高速缓存逐出的高速缓存行，或者响应于所述处理核心的高速缓存中的未命中而将高速缓存行提供到所述处理核心。

13.如权利要求10所述的装置，其中：

响应于来自在与所述小芯片存储器分开的管芯上的处理核心的调度器或计算单元的请求而将所述第一部分配置为高度缓存或将所述第一子部分配置为可直接访问的存储器。

14.如权利要求10所述的装置，其中所述小芯片存储器还被配置为：

响应于与所述小芯片分开的处理器核心的请求而将数据存储在被配置为可直接访问的存储器的所述第一子部分内。