[发明专利]单算子多模型流水线推理方法、系统、电子设备及介质

说明书

本公开公开了单算子多模型流水线推理方法、系统、电子设备及介质，涉及深度学习、自然语言处理以及智能云等人工智能领域，所述方法可包括：构建由基于远程过程调用协议的微服务框架和图执行引擎组成的单算子多模型流水线推理系统；利用该系统完成对于用户请求的处理；其中，基于远程过程调用协议的微服务框架用于将用户请求发送给图执行引擎，并获取图执行引擎返回的处理结果，返回给用户；图执行引擎用于利用操作节点对用户请求进行处理，并将处理结果返回给基于远程过程调用协议的微服务框架，图执行引擎中包括多个操作节点，且其中的至少两个操作节点分别对应于不同的模型服务。

技术领域

本公开涉及人工智能技术领域，特别涉及深度学习、自然语言处理以及智能云等领域的单算子多模型流水线推理方法、系统、电子设备及介质。

背景技术

目前，主流的深度学习开源框架都提供了推理服务和部署能力，支持单算子单模型的版本管理和部署。

但在实际应用中，很多场景下需要多个深度学习模型配合起来才能解决一个复杂问题。以视频分类为例，往往需要根据视频解码、音频分析、文字分析、视频分析等多个模型提供的特征才能实现最终的分类。这种场景下，单算子单模型的框架则不再适用。

发明内容

本公开提供了单算子多模型流水线推理方法、系统、电子设备及介质。

一种单算子多模型流水线推理方法，包括：

构建由基于远程过程调用协议的微服务框架和图执行引擎组成的单算子多模型流水线推理系统；

利用所述单算子多模型流水线推理系统完成对于用户请求的处理；其中，所述基于远程过程调用协议的微服务框架用于将所述用户请求发送给所述图执行引擎，并获取所述图执行引擎返回的处理结果，返回给用户；所述图执行引擎用于利用操作节点对所述用户请求进行处理，并将处理结果返回给所述基于远程过程调用协议的微服务框架，所述图执行引擎中包括M个操作节点，M为大于一的正整数，且其中的至少两个操作节点分别对应于不同的模型服务。

一种单算子多模型流水线推理系统，包括：基于远程过程调用协议的微服务框架以及图执行引擎；

所述基于远程过程调用协议的微服务框架，用于将用户请求发送给所述图执行引擎，并获取所述图执行引擎返回的处理结果，返回给用户；

所述图执行引擎，用于利用操作节点对所述用户请求进行处理，并将处理结果返回给所述基于远程过程调用协议的微服务框架，其中，所述图执行引擎中包括M个操作节点，M为大于一的正整数，且其中的至少两个操作节点分别对应于不同的模型服务。

一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。

一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如以上所述的方法。

上述公开中的一个实施例具有如下优点或有益效果：提出了一种基于微服务的单算子多模型流水线推理架构，填补了深度学习推理在复杂应用场景落地的技术空白，具有广泛的应用前景和发展潜力等。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：