[发明专利]算法模型服务测试方法、系统、设备及存储介质

权利要求书

1.一种算法模型服务测试方法，其特征在于，所述方法包括：

根据待测试的算法引擎构建被测试的算法引擎；

获取待测试的算法模型的数据，并导入至所述被测试的算法引擎中，得到被测试的算法模型服务系统；

从测试数据库中获取测试输入数据，并输入到所述被测试的算法模型服务系统；

获取所述被测试的算法模型服务系统的测试输出数据，根据所述测试输出数据生成测试结果。

2.根据权利要求1所述的算法模型服务测试方法，其特征在于，所述根据待测试的算法引擎构建被测试的算法引擎，包括如下步骤：

确定算法引擎的测试版本，将对应的算法引擎作为待测试的算法引擎；

获取所述待测试的算法引擎的镜像，根据所述镜像构建被测试的算法引擎。

3.根据权利要求1所述的算法模型服务测试方法，其特征在于，所述获取待测试的算法模型的数据，包括如下步骤：

获取算法模型的测试版本，将对应的算法模型作为待测试的算法模型；

获取所述待测试的算法模型的特征数据和模型文件。

4.根据权利要求1所述的算法模型服务测试方法，其特征在于，所述从测试数据库中获取测试输入数据，包括如下步骤：

将测试数据库中的测试输入数据导入到消息队列中；

从所述消息队列中依次消费消息获取对应的测试输入数据。

5.根据权利要求4所述的算法模型服务测试方法，其特征在于，所述将测试数据库中的测试输入数据导入到消息队列中，包括：根据预设的输入分配规则，将测试数据库中的测试输入数据分别导入到多个消息队列中；

从所述消息队列中依次消费消息获取对应的测试输入数据，包括：根据预设的测试输入数据与算法模型服务系统的映射关系，从与所述被测试的算法模型服务系统相对应的消息队列依次消费消息获取对应的测试输入数据。

6.根据权利要求5所述的算法模型服务测试方法，其特征在于，所述测试输入数据与算法模型服务系统的映射关系包括测试输入数据与算法模型的版本和/或算法引擎的版本的映射关系；

所述输入分配规则包括测试输入数据在多个版本的算法模型和/或多个版本的算法引擎之间的分配规则。

7.根据权利要求1所述的算法模型服务测试方法，其特征在于，所述生成测试结果，包括如下步骤：

将所述测试输出数据与预设的标准输出数据进行比较，根据比较结果生成测试结果。

8.根据权利要求7所述的算法模型服务测试方法，其特征在于，所述获取待测试的算法模型的数据之前，还包括如下步骤：

采集运行中的线上算法模型服务系统的线上输入数据和线上输出数据；

将所述线上输入数据和线上输出数据存储于所述测试数据库中，将所述线上输入数据作为测试输入数据，将所述线上输出数据作为对应的标准输出数据。

9.根据权利要求8所述的算法模型服务测试方法，其特征在于，将所述线上输入数据和线上输出数据存储于所述测试数据库中，包括如下步骤：

将所述线上输入数据和线上输出数据通过消息队列存储于所述测试数据库中。

10.根据权利要求7所述的算法模型服务测试方法，其特征在于，将所述测试输出数据与预设的标准输出数据进行比较，根据比较结果生成测试结果，包括如下步骤：

将所述测试输出数据与预设的标准输出数据进行比较，分别统计测试输出数据与标准输出数据相匹配的测试次数和不匹配的测试次数，得到统计结果；

根据预设的测试指标算法，基于所述统计结果计算得到测试指标值。