[发明专利]一种基于海量用户的AB测试方法及系统

说明书

本说明书实施例公开了一种基于海量用户的AB测试方法及系统，包括：将用户访问流量按照预设的比例关系分为第一实验组、第二实验组及对照组；将至少一待测产品策略发送给所述第一实验组进行交叉验证，输出成功的产品策略；将所述成功的产品策略发送给所述第二实验组，并将所述第一实验组的用户访问流量补充到所述第二实验组；比较所述对照组的用户访问结果与所述第二实验组的用户访问结果，获得所述成功的产品策略的收益。

技术领域

本说明书实施例方案属于网页测试技术领域，尤其涉及一种基于海量用户的AB测试方法及系统。

背景技术

随着互联网的发展，对用户的重视程度也越来越大，无论是优惠活动，还是页面改版一般都需要做A/B测试(即AB test)来验证产品策略对于用户来说是否可行，但是传统的AB test产品策略是对流量进行对半拆分，实验效果成功之后则对全量用户实行该产品策略。

AB test本质上是个分离式组间实验，进行ABtest首先需要建立一个测试页面(定义为B页面)，这个页面可能在标题字体、背景颜色、布局设置或者措辞等方面与原有页面(定义为A页面)有所不同，然后将这A页面、B页面以随机的方式同时推送给所有浏览用户，再统计通过A页面到达网站内页的用户占的百分比是多少，通过B页面到达内页的用户占的百分比是多少。假设A的是6％，B的是20％，那么说明新页面是得到用户喜欢的。如果对20％的结果还不满意，还可继续修改新页面，直到这个转化率不能够再提高为止。可见，A/B测试其实是一种“先验”的实验体系，属于预测型结论，与“后验”的归纳性结论差别巨大。A/B测试的目的在于通过科学的实验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的实验结论，并确信该结论在推广到全部流量可信。

但是，传统的A/B测试方法不仅存在分流误差，在实验成功之后开启100％流量时对项目实际产生收益难以解释，如果继续留50％流量做对照则是一种浪费。

因此，业内亟需一种可以避免分流误差及监控项目收益的解决方案。

发明内容

本说明书实施例目的在于提供一种基于海量用户的AB测试方法及系统，通过对用户流量进行精细化运营，以实现解决抽样误差、对照组流量浪费以及流量全开时项目实际产生收益难以解释的问题。

为解决上述技术问题，本说明书实施例提供的一种基于海量用户的AB测试方法及系统是包括以下方式实现的：

一种基于海量用户的AB测试方法，该方法包括：

将用户访问流量按照预设的比例关系分为第一实验组、第二实验组及对照组；

将至少一待测产品策略发送给所述第一实验组进行交叉验证，输出成功的产品策略；

将所述成功的产品策略发送给所述第二实验组，并将所述第一实验组的用户访问流量补充到所述第二实验组；

比较所述对照组的用户访问结果与所述第二实验组的用户访问结果，获得所述成功的产品策略的收益。

一种基于海量用户的AB测试系统，该系统包括：

流量划分单元，用于将用户访问流量按照预设的比例关系分为第一实验组、第二实验组及对照组；

第一实验单元，用于将至少一待测产品策略发送给所述第一实验组进行交叉验证，输出成功的产品策略；

第二实验单元，用于将所述成功的产品策略发送给所述第二实验组，并将所述第一实验组的用户访问流量补充到所述第二实验组；

比较单元，用于比较所述对照组的用户访问结果与所述第二实验组的用户访问结果，获得所述成功的产品策略的收益。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：