[发明专利]基于容器的深度学习模型测试评估全流程自动管理方法

说明书

本公开提出一种基于容器的深度学习模型测试评估全流程自动管理方法、装置、设备和介质。该方法包括：获取参赛镜像文件、微服务镜像文件和测试任务，其中，微服务镜像文件包括出题微服务镜像、比对微服务镜像和评估微服务镜像；获取测试任务对应的任务信息，根据任务信息自动调度出题微服务镜像进行随机出题；根据参赛镜像文件生成测试容器，利用测试容器运行出题微服务镜像给出的测试题目，输出对应的测试值；利用比对微服务镜像对比测试值和样本真值，输出评价参赛镜像文件的核心指标，获取评价参赛镜像文件的通用指标；利用评估微服务镜像根据核心指标和通用指标输出参赛镜像文件的测试评分，并将测试评分发布至目标栏目。

技术领域

本公开涉及智能平台开发领域，具体涉及一种基于容器的深度学习模型测试评估全流程自动管理方法。

背景技术

近年来，深度学习技术得到快速发展，深度学习算法在图像处理、自然语言处理等方面实现了重大的突破。为促进深度学习的创新性研究，已有广泛的针对不同领域、不同应用任务的深度学习比赛展开。

然而，传统的深度学习模型测试评估平台需要大量的人工工作量，需要测评人员逐个下载参赛团队提交的程序代码，然后选择合适的运行环境对代码进行实现，利用测试样本完成模型的测试任务，并对输出结果进行人工评估打分。这种方式不仅会耗费大量的人工和时间成本，而且下载到本地的程序代码会占用大量内存资源。因此，程序测试评估自动管理系统的开发具有重要意义。

发明内容

本公开的一个方面提供了一种基于容器的深度学习模型测试评估全流程自动管理方法，包括：获取参赛镜像文件、微服务镜像文件和测试任务，其中，微服务镜像文件包括出题微服务镜像、比对微服务镜像和评估微服务镜像；获取测试任务对应的任务信息，根据任务信息自动调度出题微服务镜像进行随机出题；根据参赛镜像文件生成测试容器，利用测试容器运行出题微服务镜像给出的测试题目，输出对应的测试值；利用比对微服务镜像对比测试值和样本真值，输出评价参赛镜像文件的核心指标，获取评价参赛镜像文件的通用指标；其中，样本真值为出题微服务镜像中携带的测试题目对应的预设值；利用评估微服务镜像根据核心指标和通用指标输出参赛镜像文件的测试评分，并将测试评分发布至目标栏目。

可选地，上述方法还包括：利用报告微服务镜像根据测试评分生成参赛镜像文件的测评报告，并发布至目标栏目，其中，报告微服务镜像从微服务镜像文件获取。

可选地，上述方法还包括：监控参赛镜像文件执行测试任务的运行，如果运行出现错误，则反馈错误信息。

可选地，在测评报告发布至目标栏目之后，上述方法还包括：将参赛镜像文件执行测试任务的运行过程及输出结果生成运行日志，并存储参赛镜像文件、微服务镜像文件、测试任务、出题微服务镜像给出的测试题目、测评报告以及运行日志。

本公开的另一方面提供了一种基于容器的深度学习模型测试评估全流程自动管理系统，包括：获取模块，用于获取参赛镜像文件、微服务镜像文件和测试任务，其中，微服务镜像文件包括出题微服务镜像、比对微服务镜像、评估微服务镜像和报告微服务镜像；测试模块，用于获取测试任务对应的任务信息，根据任务信息自动调度出题微服务镜像进行随机出题；根据参赛镜像文件生成测试容器，利用测试容器运行出题微服务镜像给出的测试题目，输出对应的测试值；比对模块，用于利用比对微服务镜像对比测试值和样本真值，输出评价参赛镜像文件的核心指标，其中，样本真值为出题微服务镜像中携带的测试题目对应的预设值；监控模块，用于监控参赛镜像文件执行测试任务的运行，输出评价参赛镜像文件的通用指标；以及在运行出现错误时，反馈错误信息；评估模块，用于利用评估微服务镜像根据核心指标和通用指标输出参赛镜像文件的测试评分；发布模块，用于在评估模块输出测评分数后，将测评分数发布至目标栏目。

可选地，上述系统还包括：第一生成模块，用于利用报告微服务镜像根据测试评分生成参赛镜像文件的测评报告；发布模块还用于将测评报告发布至目标栏目。

可选地，上述系统还包括：第二生成模块，用于将参赛镜像文件执行测试任务的运行过程及输出结果生成运行日志。