[发明专利]A/B测试方法、装置及电子设备

说明书

本说明书实施例公开了一种A/B测试方法、装置及电子设备，其包含的技术方案实质是，通过采集A/B测试中的业务版本在运行过程中的业务数据；利用采集的业务数据评估业务版本是否达到基于第一评估策略设定的第一指标条件；若所述业务版本未达到所述第一指标条件，则判断所述A/B测试是否到达第二评估策略所设定的预设测试结束日，所述第一评估策略不同于第二评估策略；若判断到达所述预设测试结束日，则利用采集的所述业务数据评估所述业务版本是否达到基于所述第二评估策略所设定的第二指标条件，得到所述业务版本的评估结果。

技术领域

本说明书实施例涉及计算机技术领域，尤其涉及一种A/B测试方法、装置及电子设备。

背景技术

A/B测试，也叫随机实验或对照实验，在软件开发过程中，A/B测试是业界公认的评估新功能对客户行为影响的因果关系的最有效的手段，通过合理的实验设计,科学的流量分配,精细的统计推断等方式来获得可信的实验结论，保证A/B测试时得到的业务结论在后续正式推送至所有用户时以很大的概率维持不变。具体地,A/B测试为同一个优化目标提供不同业务版本，统计各业务版本在运行时产生的业务数据，利用业务数据评估各业务版本的优劣，最终做出决策。

发明内容

有鉴于此，本说明书实施例提供了一种提升A/B测试效率及精确度的A/B测试方法、装置及电子设备。

本说明书实施例采用下述技术方案：

本说明书实施例提供一种A/B测试方法，包括：

采集A/B测试中的业务版本在运行过程中的业务数据；

利用采集的业务数据评估业务版本是否达到基于第一评估策略设定的第一指标条件；

若所述业务版本未达到所述第一指标条件，则判断所述A/B测试是否到达第二评估策略所设定的预设测试结束日，所述第一评估策略不同于第二评估策略；

若判断到达所述预设测试结束日，则利用采集的所述业务数据评估所述业务版本是否达到基于所述第二评估策略所设定的第二指标条件，得到所述业务版本的评估结果。

本说明书实施例还提供一种A/B测试装置，包括：

采集模块，采集A/B测试中的业务版本在运行过程中的业务数据；

第一评估模块，利用采集的业务数据评估业务版本是否达到基于第一评估策略设定的第一指标条件；

判断模块，若所述业务版本未达到所述第一指标条件，则判断所述A/B测试是否到达第二评估策略所设定的预设测试结束日，所述第一评估策略不同于第二评估策略；

第二评估模块，若判断到达所述预设测试结束日，则利用采集的所述业务数据评估所述业务版本是否达到基于所述第二评估策略所设定的第二指标条件，得到所述业务版本的评估结果。

本说明书实施例还提供一种电子设备，包括：

处理器；以及

被配置成存储计算机程序的存储器，所述计算机程序在被执行时使所述处理器执行以下操作：

采集A/B测试中的业务版本在运行过程中的业务数据；

利用采集的业务数据评估业务版本是否达到基于第一评估策略设定的第一指标条件；

若所述业务版本未达到所述第一指标条件，则判断所述A/B测试是否到达第二评估策略所设定的预设测试结束日，所述第一评估策略不同于第二评估策略；

若判断到达所述预设测试结束日，则利用采集的所述业务数据评估所述业务版本是否达到基于所述第二评估策略所设定的第二指标条件，得到所述业务版本的评估结果。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：