[发明专利]AB测试方法、系统、设备及存储介质

说明书

本发明提供了一种AB测试方法、系统、设备及存储介质，该方法包括：构建多个实验层，每个实验层中分别包括至少一个实验；获取实验配置人员的实验配置数据，所述实验配置数据包括实验流量分配数据，所述实验流量分配数据包括每个实验层中各个实验所占的流量比例；获取用户请求，根据所述实验流量分配数据分配在每个所述实验层中该用户请求进入的目标实验；将该用户请求分流至每个所述实验层中的所述目标实验。通过采用本发明的方案，基于分层实验理论进行AB测试，不同实验层的实验流量正交分布，不会影响实验结果，且可同时进行多层实验，满足越来越大的业务流量需求。

技术领域

本发明涉及AB测试技术领域，尤其涉及一种AB测试方法、系统、设备及存储介质。

背景技术

互联网公司产品的优化，推荐算法等模型的调整，都是进行大量AB实验，对比结果而得出来的。在算法模型的建模中，参数需要不断调试，不同模型的结果需要反复对比实验，前端产品的设计、页面布局、字体颜色等都需要不同方案进行实验对比得出来更好得结果。产品设计的好坏，算法模型的结果评测，最终都要根据AB实验的数据来判定。

现有技术中的AB实验是按照用户ID的最后一位来划分的，不同尾号进入不同实验。然而采用该方法时，由于用户ID尾号有限，只能进行有限的几个实验，其次尾号分布不够随机，会导致实验互相影响，存在较大的结果误差。

发明内容

针对现有技术中的问题，本发明的目的在于提供一种AB测试方法、系统、设备及存储介质，基于分层实验理论进行AB测试，不同实验层的实验流量正交分布，不会影响实验结果，且可同时进行多层实验，满足越来越大的业务流量需求。

本发明实施例提供一种AB测试方法，所述方法包括如下步骤：

构建多个实验层，每个实验层中分别包括至少一个实验；

获取实验配置人员的实验配置数据，所述实验配置数据包括实验流量分配数据，所述实验流量分配数据包括每个实验层中各个实验所占的流量比例；

获取用户请求，根据所述实验流量分配数据分配在每个所述实验层中该用户请求进入的目标实验；

将该用户请求分流至每个所述实验层中的所述目标实验。

可选地，所述实验配置数据还包括实验层配置管理数据、实验管理数据和实验参数管理数据，所述方法还包括如下步骤：

根据所述实验层配置管理数据配置每个所述实验层；

根据所述实验管理数据配置每个所述实验层中的实验；

根据所述实验参数管理数据配置每个所述实验的参数。

可选地，所述方法还包括如下步骤：

获取实验配置人员配置的实验用户群体特性；

从用户画像系统中获取符合所述实验用户群体特性的用户ID，将获取到的用户ID确定为实验用户ID。

可选地，所述获取用户请求，包括如下步骤：

获取到用户请求，判断用户请求所对应的用户ID是否属于实验用户ID；

如果是，则根据所述实验流量分配数据分配在每个所述实验层中该用户请求进入的目标实验；

如果否，则不对所述用户请求分配目标实验。

可选地，每个所述实验层中所有实验的流量比例之和为100％，所述所述实验流量分配数据分配在每个所述实验层中该用户请求进入的目标实验，包括如下步骤：

根据所述实验流量分配数据判断每个所述实验层中每个实验所属流量起始点；