[发明专利]算法服务器的测评方法及其装置

说明书

本申请提出一种算法服务器的测评方法及其装置，其中，算法服务器的测评方法包括：获取目标算法服务器的测评任务，并根据测评任务获取测评任务所需要的任务数据；下载目标算法服务器的测评脚本至目标算法服务器内；将任务数据输入测评脚本中对目标算法服务器进行测评，以获取目标算法服务器的测评数据。本申请根据目标算法服务器的测评任务获取任务数据及对应的测评脚本存储至目标算法服务器中，将任务数据输入至测评脚本，由于测评脚本存储在本地，可以保证对测评脚本进行灵活的调整，不仅实现目标算法服务器的精准测评，而且提高了测评效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种算法服务器的测评方法及其装置。

背景技术

随着技术发展，越来越多算法模型的训练及优化基于算法服务器实现，目前的算法服务器提供了算法模型的训练、测试、部署等功能以及提供调用模型输出结果的能力。但是，对各种算法模型的测评功能有很大的差异，不能为算法模型提供一个基于相关领域专业指标的测评，而且算法工程师通过离线测试对模型进行评测可能耗费大量人力物力，测评效率不高。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的一个目的在于提出一种算法服务器的测评方法。

本申请的第二个目的在于提出一种算法服务器的测评装置。

本申请的第三个目的在于提出一种电子设备。

本申请的第四个目的在于提出一种非瞬时计算机可读存储介质。

本申请的第五个目的在于提出一种计算机程序产品。

为达上述目的，本申请第一方面实施方式提出了一种算法服务器的测评方法，包括：获取目标算法服务器的测评任务，并根据所述测评任务获取所述测评任务所需要的任务数据；下载所述目标算法服务器的测评脚本至所述目标算法服务器内；将所述任务数据输入所述测评脚本中对所述目标算法服务器进行测评，以获取所述目标算法服务器的测评数据。

本申请根据目标算法服务器的测评任务获取所需的任务数据以及对应的测评脚本，将任务数据输入测评脚本中对目标算法服务器进行测评，以获取目标算法服务器的测评数据，提高了测评效率。

根据本申请的一个实施方式，所述将所述任务数据输入所述测评脚本中对所述目标算法服务器进行测评，包括：构建所述测评脚本执行所需的虚拟运行环境；在所述虚拟运行环境下执行所述测评脚本，并将所述任务数据输入所述测评脚本中对所述目标算法服务器进行测评。

根据本申请的一个实施方式，所述构建所述测评脚本执行所需的虚拟运行环境，包括：根据所述测评脚本，获取所述测评脚本运行所需的资源包；基于所述资源包构建所述测评脚本执行所需的虚拟运行环境。

根据本申请的一个实施方式，所述根据所述测评脚本，获取所述测评脚本运行所需的资源包，包括：从所述测评脚本中读取资源信息文件；根据所述资源信息文件确定所述资源包的安装来源；对所述资源包的安装来源进行访问，获取所述资源包。

根据本申请的一个实施方式，所述根据所述测评任务获取所述测评任务所需要的任务数据，包括：根据所述测评任务，生成数据下载请求，其中，所述数据下载请求中携带所述目标算法服务器的标识信息；向远程存储系统发送所述数据下载请求；接收所述远程存储系统返回的与所述标识信息匹配的所述任务数据。

根据本申请的一个实施方式，所述获取目标算法服务器的测评脚本之前，还包括：生成所述测评任务对应的工作目录；将所述任务数据存储在所述工作目录中，并生成每类任务数据各自的文件。

根据本申请的一个实施方式，所述算法服务器的测评方法还包括：将所述测评脚本运行中产生的所述测评数据存储至所述工作目录中；响应于测评结束后，从所述工作目录中输出所述测评数据并上传至所述远程存储系统进行存储。