[发明专利]面向微服务的批推理方法、服务器和计算机可读存储介质

权利要求书

1.一种面向微服务的批推理方法，其特征在于，包括：

接收客户端发送的用户请求；

将请求存入字典并添加到当前请求队列；

等待子线程返回当前请求队列中所有请求对应的微服务的批推理结果；其中，该步骤包括：等待子线程通信返回的批推理结果；子线程先确定当前请求队列符合进行批推理的条件，接着将当前请求队列中请求发送给各个模型对应的微服务由各个微服务单独进行批推理，然后获取所有微服务的批推理结果，根据请求对批推理结果进行拆分并将拆分后的批推理结果存入词典；批推理的条件和微服务参数相关，具体地，微服务参数包括队列长度或等待时间，符合进行批推理的条件包括：当前请求队列的长度等于预设的队列最大长度，或者当前请求队列的等待时间达到预设的最长等待时间；

读取批推理结果；

向客户端返回批推理结果。

2.如权利要求1所述面向微服务的批推理方法，其特征在于，子线程包括上游服务，其中，子线程将当前请求队列中请求发送给各个模型对应的微服务由各个微服务单独进行批推理包括：

子线程通过上游服务将当前请求队列中所有请求合并为一批请求，然后将该一批请求并发发送给各个模型对应的微服务由各个微服务单独进行批推理。

3.如权利要求1所述面向微服务的批推理方法，其特征在于，所有微服务使用一个工作队列，该工作队列包括若干个请求队列。

4.如权利要求1所述面向微服务的批推理方法，其特征在于，微服务包括：分类模型微服务、实体模型微服务、问答模型微服务、匹配模型微服务中的任意一个或多个。

5.一种服务器，服务器上设置有主线程，主线程可与若干个子线程进行通信，其特征在于，主线程包括：

接收单元，用于接收客户端发送的用户请求；

添加单元，用于将请求存入字典并添加到当前请求队列；

等待单元，用于等待子线程返回当前请求队列中所有请求对应的微服务的批推理结果；其中包括：等待子线程通信返回的批推理结果；子线程先确定当前请求队列符合进行批推理的条件，接着将当前请求队列中请求发送给各个模型对应的微服务由各个微服务单独进行批推理，然后获取所有微服务的批推理结果，根据请求对批推理结果进行拆分并将拆分后的批推理结果存入词典；批推理的条件和微服务参数相关，具体地，微服务参数包括队列长度或等待时间，符合进行批推理的条件包括：当前请求队列的长度等于预设的队列最大长度，或者当前请求队列的等待时间达到预设的最长等待时间；

读取单元，用于读取批推理结果；

返回单元，用于向客户端返回批推理结果。

6.一种服务器，其特征在于，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-4中任一项所述的面向微服务的批推理方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的面向微服务的批推理方法的步骤。