[发明专利]基于分布式文件系统统一管理AI模型的方法及系统

权利要求书

1.基于分布式文件系统统一管理AI模型的方法，采用的系统其包括模型迭代管理模块、模型读取模块、元数据表和分布式文件系统，模型迭代管理模块的输出端分别连接元数据表和分布式文件系统，模型读取模块分别连接元数据表和分布式文件系统，其特征在于：方法包括以下步骤：

步骤1：模型迭代管理模块接收传送来的新增或更新的模型，提取模型文件信息，依据文件信息查找元数据表并自动创建对应数据记录元数据表项；

步骤2：根据模型迭代管理模块传送的模型与存储路径，调用分布式文件系统将模型存储至对应位置；

步骤3：当模型需要读取调用时模型读取模块根据调用信息查找元数据表并响应调用消息；

当查找元数据表不存在该模型记录时，则返回“该模型不存在”，并结束调用；

当查找元数据表存在该模型记录时，则执行步骤4；

步骤4，查询该模型是否为上线公开；是则，将对应元数据项送给分布式文件系统读取模型文件并挂载并执行步骤5；否则，返回“该应用无上线模型，请先设置”并结束调用；

步骤5，模型读取模块将该模型对应的元数据项和从分布式文件系统内调取对应模型文件形成完整目标模型信息一起返回。

2.根据权利要求1所述的基于分布式文件系统统一管理AI模型的方法，其特征在于：元数据表包括如下表项：ModelId、模型名称、模型版本号、模型创建时间、模型的存储文件名、模型的存储路径、Online标识、Dirty标识和模型的评估信息；

ModelId由数据库自动生成，是标识模型的唯一序列号；模型名称、模型版本号和模型创建时间构成模型存储在分布式文件系统上的命名规则；模型的存储路径为对应模型仓库的分布式文件系统上的具体路径；Online标识表示模型是否上线公开；Dirty标识表示是否脏模型；模型的评估信息包含体现该模型质量的准确度和F1值。

3.根据权利要求1所述的基于分布式文件系统统一管理AI模型的方法，其特征在于：步骤1中将不同平台构建的AI模型按照时间标提取模型文件信息。

4.根据权利要求1所述的基于分布式文件系统统一管理AI模型的方法，其特征在于：步骤2的具体步骤为：当为新增模型时，则创建对应文件夹并存储；当为更新模型，则将模型存入已有文件夹。

5.根据权利要求1所述的基于分布式文件系统统一管理AI模型的方法，其特征在于：步骤3的模型读取模块支持通过挂载方式访问模型仓库并接收机器学习框架发送的模型调用消息。

6.根据权利要求1所述的基于分布式文件系统统一管理AI模型的方法，其特征在于：步骤5中该模型对应的元数据项包括模型的创建时间、脏模型状态、评估信息。

7.基于分布式文件系统统一管理AI模型的系统，其特征在于：其包括模型迭代管理模块、模型读取模块、元数据表和分布式文件系统，模型迭代管理模块的输出端分别连接元数据表和分布式文件系统，模型读取模块分别连接元数据表和分布式文件系统，

模型迭代管理模块用于接收传送来的新增或更新的模型，提取模型文件信息，依据文件信息查找元数据表并自动创建对应数据记录元数据表项；

模型读取模块用于分析用户输入的数据提取模型信息，与元数据表内记录匹配，提取表内元数据项，查看模型是否已上线，若已上线，则根据元数据在分布式文件系统的节点上提取并返回给用户包含脏模型状态在内的完整目标模型信息；

元数据表用于提供并存储各个模型记录的元数据表项信息；

分布式文件系统用于存储模型文件；

模型迭代管理模块将模型打包并存储在分布式文件系统的节点上。

8.根据权利要求7所述的基于分布式文件系统统一管理AI模型的系统，其特征在于：模型迭代管理模块将不同平台构建的AI模型按照时间标提取模型文件信息。