[发明专利]基于Seldon的AI模型发布方法及系统

说明书

本发明公开基于Seldon的AI模型发布方法及系统，通过构建出一个以Seldon为基础的docker镜像，存放在镜像管理模块的镜像仓库内，作为模型发布的基础容器。容器管理模块则通过基础镜像，启动模型容器，并且通过命令行输入相应模型参数，就可以自动生成模型加载文件model.py，并从制品库下载并安装对应模型所需环境安装包和从模型库下载对应的模型文件。运行model.py时会加载对应版本的模型进行发布。最后通过服务管理模块将发布的模型注册到网关，通过控制发布模型的注册信息完成对发布模型的管理，解决模型持续发布“最后一公里”问题。

技术领域

本发明涉及人工智能技术领域，尤其涉及基于Seldon的AI模型发布方法及系统。

背景技术

目前模型发布一种常用的方法是使用TensorFlow Serving，但其仅支持发布TensorFlow框架生成的模型。还有一种常用的模型发布方式是采用Seldon平台发布机器学习模型。Seldon是一个用于在Kubernetes上部署机器学习模型的开源平台。Seldon允许数据科学家使用任何机器学习工具包或编程语言创建模型，包括主流的TensorFlow模型、Pytorch等模型。Seldon平台在部署模型时通过REST和gRPC公开机器学习模型，以便可以集成到需要的业务应用程序中。并且Seldon允许将复杂的运行时推理图部署为微服务，包括模型服务、路由器服务、组合其服务和变形器服务，可以很方便的进行部署和更新，而且可以处理已部署模型的完整生命周期管理，例如无需停机就可以更新模型、可以缩放，监控模型。然而普通采用Seldon平台发布也存在着它的不足之处。Seldon平台部署机器学习模型时需要开发者人工编写模型加载文件model.py。然而通常的机器学习模型的加载文件的内容相似性高，每次加载模型都需要重新编写，严重影响开发者开发效率。而且对于大规模的模型部署来说，每次使用都需要编写模型加载文件，无法实现模型持续发布。

发明内容

本发明的目的在于提供基于Seldon的AI模型发布方法及系统。

本发明采用的技术方案是：

基于Seldon的AI模型发布系统，其包括容器管理模块以及与容器管理模块连接的模型仓库、镜像仓库管理模块、模型容器、制品库和数据库，镜像仓库管理模块内置镜像仓库，镜像仓库管理模块用于从镜像仓库提取基础镜像文件并提供给容器管理模块，模型库中用于提供对应的模型文件，制品库提供模型安装所需环境的安装包，数据库用于存储基础模型对应的数据库信息，容器管理模块负责生成容器和基础模型加载文件并启动容器；容器管理模块通过维护数据库与基础模型加载文件自动生成对应模型加载代码并发布模型；模型容器连接服务管理模块，服务管理模块提供模型服务注册信息并提供对外服务。

进一步地，作为一种较优实施方式，基础镜像是以Seldon为基础的docker镜像。

进一步地，作为一种较优实施方式，seldon基础镜像内安装git，并且写入了执行脚本下载代码和模型文件的运行脚本；模型文件脚本用于定义模型版本，并在需要的时候进行模型版本回滚操作。

进一步地，作为一种较优实施方式，数据库包括模型的评估信息、准确度以及存储模型所需的依赖信息。

进一步地，作为一种较优实施方式，数据库自动生成ModelId作为标识模型的唯一序列号；模型名称、模型版本号和创建时间在存储数据时人工输入数据库；模型名称与版本号组成唯一标识的命名规则并作为文件名存储在模型库内；数据库中模型的存储路径为模型库Model分类下的对应模型文件位置；数据库中模型运行环境安装包地址格式为制品库Environment分类下的对应模型名称的文件。

基于Seldon的AI模型发布方法，其包括以下步骤：

步骤1：镜像仓库管理模块存放AI模型发布的seldon基础镜像，seldon基础镜像内安装git，并且写入了执行脚本下载代码和模型文件的运行脚本；