[发明专利]以图形处理器为执行核心的推理方法和装置

说明书

本发明涉及一种以图形处理器为执行核心的推理方法和装置，其中该推理方法包括：图形处理器依据网络接口控制器提供的推理命令从非易失性存储空间调用和执行模型的代码，用以对所述网络接口控制器提供的原始数据进行并行计算以生成计算结果；统合所述计算结果以生成推理结果；以及回复所述推理结果给所述网络接口控制器。通过以上述图形处理器为核心的方式来统合网络接口控制器来完成推理操作，可以不再需要中央处理器的参与。

技术领域

本发明涉及图形处理器，尤指一种以图形处理器为执行核心的推理方法和装置。

背景技术

传统的云端运算需要将数据传到中央的数据中心进行处理，然后再将运算结果传回用户设备，造成数据中心需要越来越多的运算能力，并且连接到数据中心的网络带宽也越来越高。为了解决如上所述的问题，新的边缘运算(Edge Computing)被提出来减少中央的数据中心的负载，实现高效的推理。边缘运算是一种网络运算架构，其运算过程尽可能靠近提供原始数据的用户设备，用于减少延迟和带宽使用。边缘运算可以应用在人工智能的推理上。为了让这样的应用场景能够实现，本发明提出一种以图形处理器为执行核心的推理方法和装置。

发明内容

有鉴于此，如何实现人工智能的推理应用，是边缘运算的重要课题。

本发明涉及一种以图形处理器为执行核心的推理方法，包括：图形处理器依据网络接口控制器提供的推理命令从非易失性存储空间调用和执行模型的代码，用以对所述网络接口控制器提供的原始数据进行并行计算以生成计算结果；统合所述计算结果以生成推理结果；以及回复所述推理结果给所述网络接口控制器。

本发明涉及另一种以图形处理器为执行核心的推理方法，包括：网络接口控制器经由网络从用户设备接收数据包，并且从所述数据包解析出推理请求和原始数据；依据所述推理请求发送所述推理命令给所述图形处理器；提供所述原始数据给所述图形处理器，使得所述图形处理器依据所述推理命令调用和执行模型的代码，用于对所述原始数据进行并行计算以生成计算结果，以及统合所述计算结果以生成推理结果；从所述图形处理器接收所述推理结果；以及经由所述网络传送包含所述推理结果的推理回复给所述用户设备。

本发明涉及一种推理装置，包含：计算单元；以及命令处理器。命令处理器，耦接所述计算单元，用于依据网络接口控制器提供的推理命令从非易失性存储空间调用和执行模型的代码，用以通过所述计算单元对所述网络接口控制器提供的原始数据进行并行计算以生成计算结果；统合所述计算结果以生成推理结果；以及回复所述推理结果给所述网络接口控制器。

上述实施例的优点之一，通过以上述图形处理器为核心的方式来统合网络接口控制器来完成推理操作，可以不再需要中央处理器的参与。

上述实施例的另一个优点，上述图形处理器充分利用了内建的通信通道来存取非易失性存储空间。

本发明的其他优点将配合以下的说明和附图进行更详细的解说。

附图说明

此处所说明的附图用于提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为依据本发明实施例的分散式运算系统的示意图。

图2为依据一些实施方式的边缘节点的框图。

图3为依据本发明实施例的边缘运算系统的示意图。

图4为依据本发明的一些实施例的边缘节点的框图。

图5为依据本发明的另一些实施例的边缘节点的框图。

图6为依据本发明实施例的以图形处理器为核心的推理方法的流程图。

图7为依据本发明的另一些实施例的边缘节点的框图。

其中，附图中符号的简单说明如下：