[发明专利]推荐系统的测试方法、装置、设备和计算机存储介质

权利要求书

1.一种推荐系统的测试方法，其特征在于，该方法包括：

在相同的至少两个推荐系统上分别部署推荐策略的第一版本，并对被测对象进行diff分析，依据diff分析结果确定是否对测试环境中的随机策略进行排查和固化，直至所述测试环境可信；

在所述至少两个推荐系统上分别部署推荐策略的第二版本，并对所述被测对象进行diff分析，依据diff分析结果确定是否对测试环境中的随机策略进行排查和固化，直至所述测试环境可信；以及

在所述至少两个推荐系统上分别部署推荐策略的第一版本和第二版本，并对被测对象进行diff分析，得到对所述被测对象的测试结果；

其中所述被测对象包括所述推荐系统或所述推荐系统中的被测模块；其中，

所述依据diff分析结果确定是否对测试环境中的随机策略进行排查和固化，包括：

若diff分析结果符合预期，则确定测试环境可信，否则对测试环境中的随机策略进行排查和固化；

所述得到对所述被测对象的测试结果，包括：

判断所述被测对象的diff分析结果是否符合预期，如果是，则确定从第一版本至第二版本的变更通过测试，否则确定从第一版本至第二版本的变更未通过测试；或者，

判断所述被测对象中各推荐策略阶段的diff分析结果，若从第一版本变更至第二版本的推荐策略之前阶段的diff分析结果以及从第一版本变更至第二版本的推荐策略阶段的diff分析结果均符合预期，则确定从第一版本至第二版本的变更通过测试；若第一版本变更至第二版本的推荐策略之前阶段的diff分析结果不符合预期或者从第一版本变更至第二版本的推荐策略阶段的diff分析结果不符合预期，则确定从第一版本至第二版本的变更未通过测试；或者，

依据所述被测对象的diff分析结果确定推荐策略从所述第一版本至第二版本的变更对推荐效果的影响程度。

2.根据权利要求1所述的方法，其特征在于，所述diff分析包括：

向所述至少两个推荐系统同时发送相同的请求；

确定所述至少两个被测对象的输出结果的一致率或差异率。

3.根据权利要求1所述的方法，其特征在于，所述对测试环境中的随机策略进行排查和固化，包括：

提示当前测试环境不可信，以便用户依据所述推荐系统的请求处理日志对不合理的随机策略进行排查；

依据所述排查的结果，关闭不合理的随机策略并固化合理的随机策略。

4.根据权利要求3所述的方法，其特征在于，所述固化合理的随机策略包括：

将合理的随机策略所采用的随机种子设置为固定值。