[发明专利]大数据量和高并发场景下提升GPU显卡计算效率的系统

说明书

本发明公开了大数据量和高并发场景下提升GPU显卡计算效率的系统，包括：客户端、CPU服务器、3台用于RPC服务的服务器和GPU显卡，客户端用于发送并发数据请求，CPU服务器用来接收数据处理请求和将请求轮询转发给后续的处理端，GPU显卡具有模型计算服务。本申请通过不增加额外的高性能硬件资源，利用相对廉价的CPU服务器，并且客户端每次只需发送相对少量的请求数据，就可以使GPU显卡达到满负载的运算状态，从而提升数据处理效率，且不容易发生溢出和超时等风险。

技术领域

本发明涉及GPU显卡计算效率技术领域，尤其涉及大数据量和高并发场景下提升GPU显卡计算效率的系统。

背景技术

深度学习模型训练完成后，一般需要在GPU显卡上部署推理服务，用来为客户端发来的数据请求给出基于深度学习模型的计算结果。例如，训练完文本的舆情分类模型后，需要在GPU显卡上部署推理服务，以便对客户端发来的文本舆情分类的请求，快速的给出计算结果。

为了在大数据量和高并发请求的场景下，提高GPU显卡的利用率，以便提升推理服务的数据处理速度，目前业内常用的策略有：

1.客户端增加每次请求发送的数据条数(batch size)，或者通过多线程和多进程的方式提升请求并发度，来将计算压力全部施加给GPU显卡端。但由于性能和带宽等的限制，大多采用CPU服务器的客户端一般也难以大幅的增加请求的并发度，这会导致GPU端显卡的利用率不容易达到饱和运行状态，浪费了GPU的计算能力，也不容易整体提升数据的处理效率；而如果增加每次请求发送的数据量，在GPU显卡端就需要相应的构造更大的数据矩阵来容纳和处理这些数据，这又可能会导致显存溢出风险的提升，同时也会增加单次请求计算超时的风险。

2.增加配置固态硬盘或部署更多的GPU显卡，即通过横向扩展昂贵的高性能硬件资源，来提升数据读写和计算的速度。但这显然也会增加系统的硬件成本，对广大初创型或资金相对有限的研发团队来说，并不是友好和现实的方案。而且，如果不能充分利用好单张GPU显卡的计算能力，横向扩展更多的GPU显卡数量也会造成更大的资源浪费。

发明内容

本发明的目的在于：为了解决上述问题，而提出的大数据量和高并发场景下提升GPU显卡计算效率的系统。

为了实现上述目的，本发明采用了如下技术方案：

大数据量和高并发场景下提升GPU显卡计算效率的系统，包括：客户端、CPU服务器、3台用于RPC服务的服务器和GPU显卡，其特征在于，所述客户端用于发送并发数据请求，所述CPU服务器用来接收数据处理请求和将请求轮询转发给后续的处理端，所述GPU显卡具有模型计算服务。

优选地，所述CPU服务器部署开源的haproxy请求转发服务，用来接收客户端发来的请求，并通过轮询的方式转发给RPC服务。

优选地，3台用于RPC服务的所述服务器均采用开源的thrift服务充当RPC服务，进一步放大对GPU显卡的并发请求度。

优选地，所述CPU服务器接收用thrift启动的RPC服务发来的经过放大并发量的计算请求，通过轮询的方式转发给GPU显卡上启动的模型计算服务。

优选地，所述GPU显卡启动三个舆情模型的计算服务，用来实际计算文本的舆情分类任务。

优选地，所述模型计算服务计算完成后，可按流程编号的逆序，将结果返回给客户端，上述采用的开源部署框架，都支持双向的数据请求和传输。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本申请通过不增加额外的高性能硬件资源，利用相对廉价的cpu服务器，并且每个客户端每次只需发送相对少量的请求数据，以及支持更多的客户端连接，就可以使GPU显卡达到满负载的运算状态，从而提升数据处理效率，且不容易发生溢出和超时等风险。

附图说明