[发明专利]A/B测试方法、装置及电子设备

说明书

本说明书实施例公开了一种A/B测试方法、装置及电子设备，其技术方案实质是，确定在A/B测试中的测试版本所分配的测试用户组，从所述测试用户组采集所述测试版本在运行时产生的测试指标数据，将这些测试指标数据与测试指标数据所属用户关联的历史指标数据进行比较，根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。

技术领域

本说明书实施例涉及计算机技术领域，尤其涉及一种A/B测试方法、装置及电子设备。

背景技术

A/B测试，也叫随机实验或对照实验，在软件开发过程中，A/B测试是业界公认的评估新功能对客户行为影响的因果关系的最有效的手段，通过合理的实验设计、科学的流量分配,精细的统计推断等方式来获得可信的实验结论，保证A/B测试时得到的业务结论在后续正式推送至所有用户时以很大的概率维持不变。具体地,A/B测试为同一个优化目标提供不同业务版本，统计各业务版本在运行时产生的业务数据，利用业务数据评估各业务版本的优劣，最终做出决策。

发明内容

有鉴于此，本说明书实施例提供了一种提升评估精度的A/B测试方法、装置及电子设备。

本说明书实施例采用下述技术方案：

本说明书实施例提供一种A/B测试方法，包括：

确定在A/B测试中的测试版本所分配的测试用户组；

采集所述测试版本在运行时产生的测试指标数据；

将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较；

根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。

本说明书实施例还提供一种A/B测试装置，包括：

第一确定模块，确定在A/B测试中的测试版本所分配的测试用户组；

采集模块，从所述测试用户组采集所述测试版本在运行时产生的测试指标数据；

比较模块，将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较；

第二确定模块，根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。

本说明书实施例还提供一种电子设备，包括：

处理器；以及

被配置成存储计算机程序的存储器，所述计算机程序在被执行时使所述处理器执行以下操作：

确定在A/B测试中的测试版本所分配的测试用户组；

从所述测试用户组采集所述测试版本在运行时产生的测试指标数据；

将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较；

根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

本说明书实施例提出一种A/B测试方法、装置及电子设备，其技术方案实质是，确定在A/B测试中的测试版本所分配的测试用户组，从所述测试用户组采集所述测试版本在运行时产生的测试指标数据，将这些测试指标数据与测试指标数据所属用户关联的历史指标数据进行比较，根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。