[发明专利]大数据量和高并发场景下提升GPU显卡计算效率的系统

权利要求书

1.大数据量和高并发场景下提升GPU显卡计算效率的系统，包括：客户端、CPU服务器、3台用于RPC服务的服务器和GPU显卡，其特征在于，所述客户端用于发送并发数据请求，所述CPU服务器用来接收数据处理请求和将请求轮询转发给后续的处理端，所述GPU显卡具有模型计算服务。

2.根据权利要求1所述的大数据量和高并发场景下提升GPU显卡计算效率的系统，其特征在于，所述CPU服务器部署开源的haproxy请求转发服务，用来接收客户端发来的请求，并通过轮询的方式转发给RPC服务。

3.根据权利要求2所述的大数据量和高并发场景下提升GPU显卡计算效率的系统，其特征在于，3台用于RPC服务的所述服务器均采用开源的thrift服务充当RPC服务，进一步放大对GPU显卡的并发请求度。

4.根据权利要求3所述的大数据量和高并发场景下提升GPU显卡计算效率的系统，其特征在于，所述CPU服务器接收用thrift启动的RPC服务发来的经过放大并发量的计算请求，通过轮询的方式转发给GPU显卡上启动的模型计算服务。

5.根据权利要求4所述的大数据量和高并发场景下提升GPU显卡计算效率的系统，其特征在于，所述GPU显卡启动三个舆情模型的计算服务，用来实际计算文本的舆情分类任务。

6.根据权利要求5所述的大数据量和高并发场景下提升GPU显卡计算效率的系统，其特征在于，所述模型计算服务计算完成后，可按流程编号的逆序，将结果返回给客户端，上述采用的开源部署框架，都支持双向的数据请求和传输。