[发明专利]针对推荐策略的A/B测试方法及装置

说明书

本发明公开了一种针对推荐策略的A/B测试方法及装置，为每一个推荐请求分配全局唯一标识号，分别记录响应每一个推荐请求调用的，包括推荐策略名和对应推荐请求的全局唯一标识号的推荐策略信息，然后收集客户端返回的pingback信息，该pingback信息中包含其对应的推荐请求的全局唯一标识号，根据全局唯一标识号确定推荐策略名与pingback信息的对应关系，并基于多个确定对应关系的数据进行推荐效果分析。该针对推荐策略的A/B测试方法及装置，采用全局唯一标识号标记一个请求过程中产生的数据，并利用全局唯一标识号将相关数据关联起来，基于关联起来的数据进行效果分析，避免了全路径策略名的收集，能够对多层级服务架构中的任意的服务策略进行独立的效果分析。

技术领域

本发明涉及推荐服务领域，更具体的说，是涉及一种针对推荐策略的A/B测试方法及装置。

背景技术

推荐服务能够根据用户的兴趣爱好或搜索意愿，按照一定的推荐策略，为用户推荐展示出产品信息，便于用户查看浏览。为了提高推荐效果，在推荐策略的选择上，需要以线上A/B测试结果为基准，判断推荐策略的推荐效果。在使用某个推荐策略时，当前端展示和点击推荐策略计算出的推荐内容时，推荐服务系统会收到pingback(自动引用通知)，返回推荐策略名，后续再统计返回的推荐策略名，并根据统计结果判断推荐策略的推荐效果。

现有的推荐服务架构为层级化的服务架构，在接收到推荐请求后，会调用推荐服务架构中的多个微服务，而每个微服务都有自己的推荐策略和A/B测试需求。现有技术中，在推荐策略的A/B测试阶段，收集策略名采用全路径策略名收集法，例如，一个推荐请求调用微服务的过程是A-B-C，其中每个服务有一个策略名，假设A服务对应的策略名叫a，B服务对应的策略名叫b，C服务对应的策略名叫c，则a+b+c称为全路径策略名。但实际情况中，推荐请求的服务调用过程和路径可能会非常复杂，这就使得最终的全路径策略名非常庞大复杂，而且间接影响系统运行效率。

发明内容

有鉴于此，本发明提供了一种针对推荐策略的A/B测试方法及装置，以方便的实现对多层级服务架构下的任意的任务策略进行独立的效果分析。

为实现上述目的，本发明提供如下技术方案：

一种针对推荐策略的A/B测试方法，包括：

为每一个推荐请求分配全局唯一标识号；

分别记录响应每一个推荐请求调用的推荐策略信息；所述推荐策略信息包括推荐策略名和推荐策略服务的推荐请求的全局唯一标识号；

收集记录客户端根据推荐结果的展示和/或点击信息返回的pingback信息，所述pingback信息中包含展示和/或点击的推荐结果服务的推荐请求的全局唯一标识号；

根据全局唯一标识号，确定推荐策略名与pingback信息的对应关系；

基于多个所述确定对应关系的推荐策略名和pingback信息进行推荐效果分析。

可选的，所述记录响应所述推荐请求调用的推荐策略信息，包括：

通过服务日志收集器记录响应所述推荐请求调用的推荐策略信息。

可选的，还包括：

基于多个所述确定对应关系的推荐策略名和pingback信息，确定推荐策略名对应的推荐策略的推荐内容的点击率；

根据所述推荐策略的推荐内容的所述点击率，确定所述推荐策略的推荐效果。

可选的，在所述基于多个所述确定对应关系的推荐策略名和pingback信息进行推荐效果分析后，还包括：

根据推荐效果分析的结果以及预设规则对推荐策略进行优先级别排序。

一种针对推荐策略的A/B测试装置，包括：