[发明专利]基于容器的深度学习模型测试评估全流程自动管理方法

权利要求书

1.一种基于容器的深度学习模型测试评估全流程自动管理方法，其特征在于，包括：

获取参赛镜像文件、微服务镜像文件和测试任务，其中，所述微服务镜像文件包括出题微服务镜像、比对微服务镜像和评估微服务镜像；所述参赛镜像文件是指已经利用Docker技术制作好的镜像；

获取所述测试任务对应的任务信息，根据所述任务信息自动调度所述出题微服务镜像进行随机出题；

根据所述参赛镜像文件生成测试容器，利用所述测试容器运行所述出题微服务镜像给出的测试题目，输出对应的测试值；

利用所述比对微服务镜像对比所述测试值和样本真值，输出评价所述参赛镜像文件的核心指标，获取评价所述参赛镜像文件的通用指标；其中，所述样本真值为所述出题微服务镜像中携带的所述测试题目对应的预设值；

利用所述评估微服务镜像根据所述核心指标和所述通用指标输出所述参赛镜像文件的测试评分，并将所述测试评分发布至目标栏目。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用报告微服务镜像根据所述测试评分生成所述参赛镜像文件的测评报告，并发布至所述目标栏目，其中，所述报告微服务镜像从所述微服务镜像文件获取。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

监控所述参赛镜像文件执行所述测试任务的运行，如果运行出现错误，则反馈错误信息。

4.根据权利要求2所述的方法，其特征在于，在所述测评报告发布至所述目标栏目之后，所述方法还包括：

将所述参赛镜像文件执行所述测试任务的运行过程及输出结果生成运行日志，并存储所述参赛镜像文件、所述微服务镜像文件、所述测试任务、所述出题微服务镜像给出的测试题目、所述测评报告以及所述运行日志。

5.一种基于容器的深度学习模型测试评估全流程自动管理系统，其特征在于，包括：

获取模块，用于获取参赛镜像文件、微服务镜像文件和测试任务，其中，所述微服务镜像文件包括出题微服务镜像、比对微服务镜像、评估微服务镜像和报告微服务镜像；所述参赛镜像文件是指已经利用Docker技术制作好的镜像；

测试模块，用于获取所述测试任务对应的任务信息，根据所述任务信息自动调度所述出题微服务镜像进行随机出题；根据所述参赛镜像文件生成测试容器，利用所述测试容器运行所述出题微服务镜像给出的测试题目，输出对应的测试值；

比对模块，用于利用所述比对微服务镜像对比所述测试值和样本真值，输出评价所述参赛镜像文件的核心指标，其中，所述样本真值为所述出题微服务镜像中携带的所述测试题目对应的预设值；

监控模块，用于监控所述参赛镜像文件执行所述测试任务的运行，输出评价所述参赛镜像文件的通用指标；以及在运行出现错误时，反馈错误信息；

评估模块，用于利用所述评估微服务镜像根据所述核心指标和所述通用指标输出所述参赛镜像文件的测试评分；

发布模块，用于在所述评估模块输出测评分数后，将所述测评分数发布至目标栏目。

6.根据权利要求5所述的系统，其特征在于，所述系统还包括：

第一生成模块，用于利用所述报告微服务镜像根据所述测试评分生成所述参赛镜像文件的测评报告；所述发布模块还用于将所述测评报告发布至所述目标栏目。

7.根据权利要求5所述的系统，其特征在于，所述系统还包括：

第二生成模块，用于将所述参赛镜像文件执行所述测试任务的运行过程及输出结果生成运行日志。

8.根据权利要求7所述的系统，其特征在于，所述系统还包括：

存储模块，用于存储所述参赛镜像文件、所述微服务镜像文件、所述测试任务、所述出题微服务镜像给出的测试题目、测评报告以及所述运行日志。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令在被所述处理器执行时实现如权利要求1-4中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令在被处理器执行时实现如权利要求1-4中任一项所述的方法。