[发明专利]基于分布式文件系统统一管理AI模型的方法及系统

说明书

本发明公开基于分布式文件系统统一管理AI模型的方法及系统，基于分布式文件系统，增设模型迭代管理模块提取预设好的模型文件信息，包括模型名称、模型版本、模型创建时间、模型是否上线公开、是否脏模型等信息，在元数据表内新增该AI模型记录，同时根据预设模型存放路径将模型存储在模型仓库中，以构建一个由元数据表与模型仓库组合成的AI模型管理系统。新增模型读取模块分析用户输入的数据提取模型信息，与元数据表内记录匹配，提取表内元数据项，查看模型是否已上线，若已上线，则根据元数据在分布式文件系统的节点上提取并返回给用户包含脏模型状态在内的完整目标模型信息。用户既可实时使用也可以优化模型并再次上传有利于模型的优化更新。

技术领域

本发明涉及人工智能技术领域，尤其涉及基于分布式文件系统统一管理AI模型的方法及系统。

背景技术

目前，应用于生成预测模型的方法多种多样。数据科学家和工程人员可以选择各种语言来构建AI预测模型。例如使用Python语言调用scikit-learn框架构建预测模型，使用Java或Scala语言调用Spark MLlib框架构建预测模型，等等。众多的构建方法产生了各种环境下的专用模型。近期随着深度学习的广泛使用，TensorFlow、Pytorch等框架支持通过REST或gRPC方式上线公开机器学习模型，但传统机器学习框架，例如scikit-learn、gensim、xgboost等，尚不支持。还有，使用REST或gRPC方式需要部署tensorflow serving，但是搭建serving环境是非常复杂且繁琐的事情。亟需一种有效的模型管理方法，方便上线公开其模型。另外，随着流行编程语言数量、框架种类的增加，管理这些各种各样的模型也变得十分困难。目前常用的管理方式是使用ONNX或PMML通用格式，将各种版本的模型转化为ONNX或PMML文件。然而这种方法存在着许多不足，例如TensorFlow的专有模型转为PMML格式模型转换过程繁琐，转换后出来模型文件普遍变大，且需要安装对应插件才能读取，增加了部署难度；并且PMML的统一模型并不记录各框架的独特优化，运行速度慢。还有就是转化后的模型与原模型的预测值可能存在偏差。

发明内容

本发明的目的在于提供基于分布式文件系统统一管理AI模型的方法及系统。

本发明采用的技术方案是：

基于分布式文件系统统一管理AI模型的方法，其包括以下步骤：

步骤1：模型迭代管理模块接收传送来的新增或更新的模型，提取模型文件信息，依据文件信息查找元数据表并自动创建对应数据记录元数据表项；

步骤2：根据模型迭代管理模块传送的模型与存储路径，调用分布式文件系统将模型存储至对应位置；

步骤3：当模型需要读取调用时模型读取模块根据调用信息查找元数据表并响应调用消息；

当查找元数据表不存在该模型记录时，则返回“该模型不存在”，并结束调用；

当查找元数据表存在该模型记录时，则执行步骤4；

步骤4，查询该模型是否为上线公开；是则，将对应元数据项送给分布式文件系统读取模型文件并挂载并执行步骤5；否则，返回“该应用无上线模型，请先设置”并结束调用；

步骤5，模型读取模块将该模型对应的元数据项和从分布式文件系统内调取对应模型文件形成完整目标模型信息一起返回。

进一步地，其中元数据表包括如下表项：ModelId、模型名称、模型版本号、模型创建时间、模型的存储文件名、模型的存储路径、Online标识、Dirty标识和模型的评估信息；