[发明专利]用于优化远程调用的方法、设备和计算机程序产品

说明书

本公开的实施例涉及一种用于优化远程调用的方法、设备和计算机程序产品。该方法包括获得用于调用远程专用处理资源的命令，并且基于命令的类型来确定命令是否满足优化条件。该方法还包括响应于命令满足优化条件而停止向远程专用处理资源发送命令。根据本公开的实施例，在需要调用远程专用处理资源的情况下，通过对远程调用命令进行优化，能够减少向远程专用处理资源发送的远程调用命令的数目，从而有效提高执行效率。

技术领域

本公开的实施例总体上涉及计算机领域，并且更具体地涉及用于优化远程调用的方法、设备以及计算机程序产品。

背景技术

专用处理资源是指一些具有专门用途的处理资源，例如图形处理单元(GPU)。GPU是一种专用于图形或图像的核心处理器，其主要负责的任务是加速图形处理速度。GPU由于其高性能优势(诸如多核且适于矩阵运算)，因而广泛用作许多应用的加速器，诸如机器学习应用和深度学习应用。

通常，GPU的价格昂贵，如果用户仅使用本地的GPU资源，则需要较高的成本。因此，可以提供远程GPU资源来降低对于GPU的使用成本，实现GPU即服务(GPUaas)。本地的用户应用对于远程GPU的函数调用将被客户端库截获并且被发送到服务器侧。服务器将调用其GPU硬件上的GPU函数并且将结果发送回客户端。通过使用远程GPU资源，可以降低成本并且提高资源利用率。

发明内容

本公开的实施例提供了一种用于优化远程调用的方法、设备和计算机程序产品。

在本公开的一个方面，提供了一种用于优化远程调用的方法。该方法包括：获得用于调用远程专用处理资源的命令；基于命令的类型，确定命令是否满足优化条件；以及响应于命令满足优化条件，停止向远程专用处理资源发送命令。

在本公开的另一方面，提供了一种用于优化远程调用的设备。该设备包括处理单元以及存储器，其中存储器被耦合至处理单元并且存储有指令。所述指令在由处理单元执行时执行以下动作：获得用于调用远程专用处理资源的命令；基于命令的类型，确定命令是否满足优化条件；以及响应于命令满足优化条件，停止向远程专用处理资源发送命令。

在本公开的又一方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使得计算机执行根据本公开的实施例的方法或过程。

提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。本发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的各个实施例的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中在本公开示例性实施例中，相同的附图标记通常代表相同的元素。

图1示出了调用本地专用处理资源的传统环境的示意图；

图2示出了根据本公开的实施例的调用远程专用处理资源的示例环境的示意图；

图3示出了根据本公开的实施例的用于优化远程调用的方法的流程图；

图4A示出了根据本公开的实施例的用于优化第一类型命令的方法的流程图；

图4B示出了根据本公开的实施例的用于优化第二类型命令的方法的流程图；

图4C示出了根据本公开的实施例的用于优化第四类型命令的方法的流程图；

图5A-5J示出了根据本公开的实施例的用于优化远程调用的示例实现的示意图；以及

图6示出了可以用来实施本公开的实施例的设备的示意性块图。

具体实施例