[发明专利]以图形处理器为执行核心的推理方法和装置

权利要求书

1.一种推理方法，以图形处理器为执行核心，其特征在于，包括：

所述图形处理器依据网络接口控制器提供的推理命令从非易失性存储空间调用和执行模型的代码，用以对所述网络接口控制器提供的原始数据进行并行计算以生成计算结果；

所述图形处理器统合所述计算结果以生成推理结果；以及

所述图形处理器回复所述推理结果给所述网络接口控制器；

其中，所述推理方法还包括：

所述网络接口控制器经由网络从用户设备接收数据包，并且从所述数据包解析出推理请求和所述原始数据；

所述网络接口控制器依据所述推理请求发送所述推理命令给所述图形处理器；

所述网络接口控制器提供所述原始数据给所述图形处理器；

所述网络接口控制器从所述图形处理器接收所述推理结果；以及

所述网络接口控制器经由所述网络传送包含所述推理结果的推理回复给所述用户设备；

其中，在所述图形处理器和所述网络接口控制器执行所述推理方法的过程中，没有中央处理器的参与。

2.如权利要求1所述的推理方法，其特征在于，所述非易失性存储空间包括非易失性快速存储器以及非易失性随机存取存储器其中至少一者，所述图形处理器通过内建的快速外设部件互联根端口从所述非易失性快速存储器或者所述非易失性随机存取存储器调用和执行所述模型的代码。

3.如权利要求1所述的推理方法，其特征在于，所述非易失性存储空间包括NAND闪存装置，所述图形处理器通过内建的开放NAND闪存接口从所述NAND闪存装置调用和执行所述模型的代码。

4.如权利要求1所述的推理方法，其特征在于，所述非易失性存储空间包括设于所述图形处理器内部的非易失性存储器。

5.如权利要求1所述的推理方法，其特征在于，包括：

所述图形处理器在调用和执行所述模型的代码前，初始化与所述网络接口控制器对应的第一通信信道和与所述非易失性存储空间对应的第二通信信道。

6.如权利要求5所述的推理方法，其特征在于，所述第一通信信道为第一快速外设部件互联根端口，以及所述第二通信信道为不同于所述第一快速外设部件互联根端口的第二快速外设部件互联根端口。

7.如权利要求5所述的推理方法，其特征在于，所述第一通信信道为所述图形处理器的共享存储器，以及所述第二通信信道为开放NAND闪存接口。

8.一种推理方法，以图形处理器为执行核心，其特征在于，包括：

网络接口控制器经由网络从用户设备接收数据包，并且从所述数据包解析出推理请求和原始数据；

所述网络接口控制器依据所述推理请求发送推理命令给所述图形处理器，以使所述图形处理器依据所述网络接口控制器提供的所述推理命令从非易失性存储空间调用和执行模型的代码；

所述网络接口控制器提供所述原始数据给所述图形处理器，所述图形处理器依据所述推理命令调用和执行模型的代码，用于对所述原始数据进行并行计算以生成计算结果，以及统合所述计算结果以生成推理结果；

所述网络接口控制器从所述图形处理器接收所述推理结果；以及

所述网络接口控制器经由所述网络传送包含所述推理结果的推理回复给所述用户设备；

其中，在所述图形处理器和所述网络接口控制器执行所述推理方法的过程中，没有中央处理器的参与。

9.如权利要求8所述的推理方法，其特征在于，所述网络接口控制器通过所述图形处理器的快速外设部件互联根端口传送所述推理命令和所述原始数据给所述图形处理器，和/或从所述图形处理器接收所述推理结果。

10.如权利要求8所述的推理方法，其特征在于，所述网络接口控制器存储所述推理命令和所述原始数据至所述图形处理器的共享存储器中的指定地址，和/或从所述共享存储器中的指定地址读取所述推理结果。