[发明专利]一种推荐系统中模型测试方法、装置及电子设备

权利要求书

1.一种推荐系统中模型测试方法，其特征在于，所述方法包括：

获取待测模型对应的测试样本数据；

通过所述待测模型对所述测试样本数据进行处理，获得第一输出结果；

根据所述第一输出结果与第二输出结果，获得比对结果；其中，所述第二输出结果为通过线上已使用的线上模型，对所述测试样本数据进行处理输出的结果，所述待测模型与所述线上模型为同一功能模型；

基于所述比对结果获得所述待测模型的测试结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一输出结果与第二输出结果，获得比对结果，包括：

根据所述第一输出结果，确定第一指标参数的值；

将所述第一输出结果与第二输出结果进行比对，获得第一比对结果；

将所述第一指标参数的值与所述第一指标参数的预设值进行比对，获得第二比对结果，所述第一指标参数的预设值为基于所述线上模型的第二输出结果确定的值。

3.根据权利要求2所述的方法，其特征在于，所述基于所述比对结果获得所述待测模型的测试结果包括：

若所述第一比对结果满足第一预设条件，或/和所述第二比对结果满足第二预设条件，获得测试通过结果。

4.根据权利要求3所述的方法，其特征在于，若所述第一比对结果中，所述第一输出结果中数值大于第一预设值的数量，超过所述第二输出结果中数值大于所述第一预设值的数量，则所述第一比对结果满足所述第一预设条件。

5.根据权利要求2-4中任意一项所述的方法，其特征在于，所述第一指标参数包括正确率、召回率、误召率以及扩召回率中的至少一种。

6.根据权利要求5所述的方法，其特征在于，

在所述第一指标参数不包括误召率的情况下，若所述第二比对结果中，所述第一指标参数的值超过所述第一指标参数的预设值，则所述第二比对结果满足第二预设条件；

在所述第一指标参数包括误召率的情况下，若所述第二比对结果中，所述第一指标参数中所述误召率的值低于所述误召率的预设值，目标指标参数的值超过所述目标指标参数的预设值，则所述第二比对结果满足第二预设条件，其中，所述目标指标参数为所述第一指标参数中除所述误召率之外的指标参数。

7.根据权利要求1所述的方法，其特征在于，所述测试样本数据的正样本数据包括第一正样本数据和第二正样本数据，所述测试样本数据的负样本数据包括第一负样本数据和第二负样本数据；

其中，所述第一正样本数据为初始测试正样本数据中满足预设样本筛选条件的正样本数据，所述第一负样本数据为初始测试负样本数据中满足所述预设样本筛选条件的负样本数据；

所述第二正样本数据为根据用户对目标样本数据的类别的修正操作，修正所述目标样本数据的类别得到的修正后的目标样本数据中的正样本数据，所述第二负样本数据为所述修正后的目标样本数据中的负样本数据；

其中，所述目标样本数据包括所述初始测试正样本数据中除所述第一正样本数据以外的正样本数据，以及所述初始测试负样本数据中除所述第一负样本数据以外的负样本数据。

8.根据权利要求7所述的方法，其特征在于，所述预设样本筛选条件包括样本数据的目标输出结果与所述样本数据的预设标准结果相同，所述目标输出结果为所述样本数据输入第一模型得到的输出结果，所述第一模型为与所述线上模型为同一功能模型。

9.一种推荐系统中模型测试装置，其特征在于，包括：

测试样本获取模块，用于获取待测模型对应的测试样本数据；

第一输出结果获得模块，用于通过所述待测模型对所述测试样本数据进行处理，获得第一输出结果；

对比结果获得模块，用于根据所述第一输出结果与第二输出结果，获得比对结果；其中，所述第二输出结果为通过线上已使用的线上模型，对所述测试样本数据进行处理输出的结果，所述待测模型与所述线上模型为同一功能模型；

测试结果获得模块，用于基于所述比对结果获得所述待测模型的测试结果。