[发明专利]基于API重定向技术的GPU虚拟化实现系统及方法

说明书

本发明提供了一种基于API重定向技术的GPU虚拟化实现系统，其中：位于客户端的指令代理模块截获客户端的图像应用程序中与OpenGL相关的API调用指令，并对该指令进行处理后，发送至远程服务器端执行渲染任务；任务调度模块将客户端发来的指令数据进行相应处理得到指令流，并分配给各个微GPU模块；微GPU模块完成指令流的渲染任务，并回传至客户端。同时提供了一种基于API重定向技术的GPU虚拟化实现方法。本发明提供了一个通用的加速服务平台，具有较好的通用性，且不需要修改源程序代码，使用简便。

技术领域

本发明涉及GPU虚拟化技术领域，具体地，涉及一种基于API重定向技术的GPU虚拟化实现系统及方法。

背景技术

随着机器学习研究领域的热度持续上升，学术界和工业界对于数据计算的需求也节节攀升。借由浮点数运算的高计算能力与数据并行的优势，GPU成为了高性能计算与云计算领域的新宠。然而随着GPU性能的不断提升，其大体积、高功耗带来的高硬件成本已经成为影响其使用的一大难题。为此，越来越多的使用者选择提供GPU云方案的云计算平台进行数据计算。

云计算技术的核心之一是虚拟化技术。虚拟化技术通过各类方法实现对系统资源的复用，将有限的资源高效地提供给多个用户使用，提高系统的资源使用率并降低单个用户的成本。相较于虚拟化技术成熟的其他设备，设备驱动的闭源，架构设计的差异的现状使得GPU在虚拟化技术实现上面临着许多难题。

当前GPU资源池的实现有着两种技术思路，一种是在单个计算机上聚合多个GPU设备从而组成加速系统，另一种则是由多台配有GPU的计算机组成集群提供加速服务。前者的使用场景主要是满足运算量小的业务需求，但是有着资源使用率较低的缺点。后者的设计方法与数据中心的硬件条件相性更好，改造更简易，更适用于当前的数据中心环境，但是仍然存在如下问题：。

云厂商通常以单张GPU设备为单位提供粗粒度的远程GPU服务，带来了较高的成本以及使用门槛，同时对设备资源的利用率不高。另外，在多台客户端同时提出渲染请求时，带宽资源也会成为系统的瓶颈。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明针对现有技术中存在的上述不足，提出了一种基于API重定向技术的GPU虚拟化实现系统及方法，属于一种远程共享的GPU资源池设计，为当前的GPU云环境提出了一种虚拟化解决方案，满足日益增长的对GPU云计算服务的需求。

本发明是通过以下技术方案实现的。

根据本发明的一个方面，提供了一种基于API重定向技术的GPU虚拟化实现系统，包括：设置于客户端的指令代理模块；设置于远程服务器端的任务调度模块和一个或多个微GPU模块；设置于客户端和远程服务器端之间用于数据通讯的通信模块；其中：

所述指令代理模块：用于截获客户端的图像应用程序中与OpenGL相关的API调用指令，并对该指令进行处理后，通过通信模块发送至远程服务器端执行渲染任务；

所述任务调度模块：用于将客户端发来的指令数据进行相应处理得到指令流，并分配给各个微GPU模块；

所述微GPU模块：用于完成指令流的渲染任务，并回传至客户端。

优选地，所述指令代理模块在客户端被设置为环境变量，从而以共享库的形式，在客户端的图像应用程序启动时加载指令代理模块的OpenGL实现。

优选地，所述指令代理模块对指令进行压缩处理；相应地，所述任务调度模块用于对压缩后的指令进行解压缩并分发至各个微GPU模块。

优选地，所述指令代理模块对指令进行压缩处理，采用如下任意一种或任意多种方法：

-采用差量传输方式，在传输前比较相邻的两帧，压缩指令的传输量；