[发明专利]一种提取机器学习任务的元数据的方法、装置

权利要求书

1.一种提取机器学习任务中的元数据的方法，其特征在于，所述方法应用于虚拟化环境，所述方法包括：

根据用户输入的机器学习程序代码在所述虚拟化环境中运行机器学习任务，所述虚拟化环境通过至少一个训练容器运行所述机器学习任务；

从所述机器学习程序代码中提取元数据，所述元数据用于对所述机器学习任务的运行环境进行复现，所述元数据包括第一类元数据；

将所述元数据存储在第一存储空间；

所述从所述机器学习程序代码中提取元数据，包括：通过关键字搜索的方式，按照所述元数据的类型从所述机器学习程序代码中提取出所述元数据；

所述通过关键字搜索的方式，按照所述元数据的类型从所述机器学习程序代码中提取出所述元数据，包括：按照所述第一类元数据的类型从输入的训练容器启动脚本中提取出所述第一类元数据，所述训练容器启动脚本用于启动所述至少一个训练容器。

2.根据权利要求1所述的方法，其特征在于，所述第一类元数据的类型包括以下任何一个或多个：所述机器学习任务使用的框架、所述机器学习任务使用的模型、所述机器学习任务的训练过程中使用的数据集。

3.根据权利要求1或2所述的方法，其特征在于，所述虚拟化环境通过至少一个训练容器运行所述机器学习任务，所述元数据包括第二类元数据；

所述通过关键字搜索的方式，按照所述元数据的类型从所述机器学习程序代码中提取出所述元数据，包括：

按照所述第二类元数据的类型从输入的训练程序代码中提取出所述元数据，所述训练程序代码存储在所述至少一个训练容器挂载的第二存储空间中，所述训练程序代码用于在所述至少一个训练容器中运行所述机器学习任务的模型训练过程。

4.根据权利要求3所述的方法，其特征在于，所述第二类元数据的类型包括以下任何一个或多个：所述机器学习任务的训练过程中使用的数据集的处理方式、所述机器学习任务的训练过程中使用的模型的结构、所述机器学习任务的训练过程中使用的训练参数。

5.一种提取机器学习任务中的元数据的装置，其特征在于，所述装置运行于虚拟化环境，所述装置包括：

运行模块，用于根据用户输入的机器学习程序代码在所述虚拟化环境中运行机器学习任务，虚拟化环境通过至少一个训练容器运行所述机器学习任务；

元数据提取模块，用于从所述机器学习程序代码中提取元数据，所述元数据用于对所述机器学习任务的运行环境进行复现，所述元数据包括第一类元数据；

所述元数据提取模块，还用于将所述元数据存储在第一存储空间；

所述元数据提取模块具体用于：通过关键字搜索的方式，按照所述元数据的类型从所述机器学习程序代码中提取出所述元数据；

所述元数据提取模块具体用于：按照所述第一类元数据的类型从输入的训练容器启动脚本中提取出所述第一类元数据，所述训练容器启动脚本用于启动所述至少一个训练容器。

6.根据权利要求5所述的装置，其特征在于，所述第一类元数据的类型包括以下任何一个或多个：所述机器学习任务使用的框架、所述机器学习任务使用的模型、所述机器学习任务的训练过程中使用的数据集。

7.根据权利要求5或6所述的装置，其特征在于，所述虚拟化环境通过至少一个训练容器运行所述机器学习任务，所述元数据包括第二类元数据；

所述元数据提取模块具体用于：

按照所述第二类元数据的类型从输入的训练程序代码中提取出所述元数据，所述训练程序代码存储在所述至少一个训练容器挂载的第二存储空间中，所述训练程序代码用于在所述至少一个训练容器中运行所述机器学习任务的模型训练过程。

8.根据权利要求7所述的装置，其特征在于，所述第二类元数据的类型包括以下任何一个或多个：所述机器学习任务的训练过程中使用的数据集的处理方式、所述机器学习任务的训练过程中使用的模型的结构、所述机器学习任务的训练过程中使用的训练参数。