[发明专利]面向微服务的批推理方法、服务器和计算机可读存储介质

说明书

本发明涉及深度学习技术领域，特别是涉及一种面向微服务的批推理方法、服务器和计算机可读存储介质。面向微服务的批推理方法包括：接收客户端发送的用户请求；将请求存入字典并添加到当前请求队列；等待子线程返回当前请求队列中所有请求对应的微服务的批推理结果；读取批推理结果；向客户端返回批推理结果。在实际的业务场景中，微服务之间往往是并发关系，使用框架级别的批推理无法对此进行优化，使用本发明提出的方案，可以节约并发场景下的无效等待时间，提升优化效果。

技术领域

本发明涉及深度学习技术领域，特别是涉及一种面向微服务的批推理方法、、服务器和计算机可读存储介质。

背景技术

随着BERT、ERNIE、XLNET等大规模语言模型的问世，各种自然语言技术(文本分类、用户画像、知识图谱、命名实体识别、语义匹配、中文分词等)都逐渐基于此类模型，业务精度也随之不断提升。

由于BERT等语言模型中模型的参数越多，其在各个NLP(Natural LanguageProcessing，自然语言处理)任务上的精度也越高，进而导致训练和推理的资源消耗也越大。在当前业务耗时受约束、资源有限的条件下，如何支撑更大的流量成为大规模语言模型应用落地的一大难题。当前基于Tensorflow Serving的批推理框架兼容性较差，商业云解决方案必须购买云服务在云上实现，另外没有针对微服务本身的批推理方案。每个微服务的特点不同，业务逻辑也不同，目前并没有任何架构在云服务上提出通用的微服务级别的解决方案。因此，亟需一个微服务级别的批推理解决方案，在有限的资源约束下，支撑线上庞大的业务请求量。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种面向微服务的批推理方法、服务器和计算机可读存储介质。

为了解决上述问题，本发明实施例公开了一种一种面向微服务的批推理方法，其特征在于，包括：

接收客户端发送的用户请求；

将请求存入字典并添加到当前请求队列；

等待子线程返回当前请求队列中所有请求对应的微服务的批推理结果；

读取批推理结果；

向客户端返回批推理结果。

进一步地，等待子线程返回当前请求队列中所有请求对应的微服务的批推理结果包括：

等待子线程先确定当前请求队列符合进行批推理的条件，再返回当前请求队列中所有请求对应的微服务的批推理结果；其中，批推理的条件和微服务参数相关。

进一步地，微服务参数包括队列长度，符合进行批推理的条件包括：当前请求队列的长度等于预设的队列最大长度。

进一步地，微服务参数包括等待时间，符合进行批推理的条件包括：当前请求队列的等待时间达到预设的最长等待时间。

进一步地，等待子线程先确定当前请求队列符合进行批推理的条件，再返回当前请求队列中所有请求对应的微服务的批推理结果包括：

等待子线程通信返回的批推理结果；其中，子线程先确定当前请求队列符合进行批推理的条件，接着将当前请求队列中请求发送给各个模型对应的微服务由各个微服务单独进行批推理，然后获取所有微服务的批推理结果，根据请求对批推理结果进行拆分并将拆分后的批推理结果存入词典。

进一步地，子线程包括上游服务，其中，子线程将当前请求队列中请求发送给各个模型对应的微服务由各个微服务单独进行批推理包括：

子线程通过上游服务将当前请求队列中所有请求合并为一批请求，然后将该一批请求并发发送给各个模型对应的微服务由各个微服务单独进行批推理。

进一步地，所有微服务使用一个工作队列，该工作队列包括若干个请求队列。