[发明专利]AA分流实验方法、装置、设备和存储介质

说明书

本发明实施例公开了一种AA分流实验方法、装置、设备和存储介质，该方法包括：接收用户设定的实验信息，确定所述实验信息中的分流条件以及指标信息；将所述分流条件发送至离线分流系统，用于所述离线分流系统基于历史记录数据生成和所述分流条件对应的分流数据，并将所述分流数据发送至数据计算系统；将所述指标信息发送至所述数据计算系统，用于所述数据计算系统根据所述指标信息以及对应的分流数据进行离线数据计算得到计算结果；接收所述数据计算系统发送的计算结果。本方案能够保障AB实验数据来源的可靠性，缩短了整体实验的实验周期，提升了实验效率，节省了线上资源。

技术领域

本申请实施例涉及计算机领域，尤其涉及一种AA分流实验方法、装置、设备和存储介质。

背景技术

分流实验中，AB实验指将用户随机分为两个组，运行不同的策略或展示不同的界面以及流程，在同一时间维度内，收集各组用户的数据进行分析。AA实验指将用户随机分为两个组，运行完全相同的界面和策略，在同一时间维度内，收集各组用户的数据进行分析。其中，分流指根据用户标识将其随机打散进行分组的过程。目前主流的AB实验平台多采用随机分流模式，对于进入实验的人群进行随机分组的方式，在分流过程中存在分组用户对应事件概率不均的问题。比如短视频领域比较关注的用户点赞属性，如果一个组中随机分配了几个点赞量很高的用户，就会导致两组用户的点赞量差异较大，从而无法评判实验对于点赞量的影响。

现有技术中，为了使实验分组更加合理，针对上述分流不均的问题可以在实验开始前，提前创建分组，进行AA实验，即两个分组均不修改任何配置。当AA实验的观察指标均衡时，此次分流才可用于后续的AB实验。然而该种方式，需要线上维护多个AA实验，其会占用较多的在线服务资源以及数据统计资源，需要改进。

发明内容

本发明实施例提供了一种AA分流实验方法、装置、设备和存储介质，能够保障AB实验数据来源的可靠性，缩短了整体实验的实验周期，提升了实验效率，节省了线上资源。

第一方面，本发明实施例提供了一种AA分流实验方法，该方法包括：

接收用户设定的实验信息，确定所述实验信息中的分流条件以及指标信息；

将所述分流条件发送至离线分流系统，用于所述离线分流系统基于历史记录数据生成和所述分流条件对应的分流数据，并将所述分流数据发送至数据计算系统；

将所述指标信息发送至所述数据计算系统，用于所述数据计算系统根据所述指标信息以及对应的分流数据进行离线数据计算得到计算结果；

接收所述数据计算系统发送的计算结果。

第二方面，本发明实施例还提供了另一种种AA分流实验方法，该方法包括：

接收实验平台发送的分流条件，基于历史记录数据生成和所述分流条件对应的分流数据；

将所述分流数据发送至数据计算系统，用于所述数据计算系统根据所述分流数据以及对应的指标信息进行离线数据计算得到计算结果。

第三方面，本发明实施例还提供了另一种AA分流实验方法，包括：

接收实验平台发送的指标信息，以及离线分流系统发送的分流数据；

根据所述指标信息以及对应的所述分流数据进行离线数据计算得到计算结果；

将所述计算结果发送至所述实验平台。

第四方面，本发明实施例还提供了一种AA分流实验装置，该装置包括：

实验信息确定模块，用于接收用户设定的实验信息，确定所述实验信息中的分流条件以及指标信息；

分流条件发送模块，用于将所述分流条件发送至离线分流系统，用于所述离线分流系统基于历史记录数据生成和所述分流条件对应的分流数据，并将所述分流数据发送至数据计算系统；