[发明专利]A/B测试方法、装置及电子设备

权利要求书

1.一种A/B测试方法，包括：

采集A/B测试中的业务版本在运行过程中的业务数据；

利用采集的业务数据评估业务版本是否达到基于第一评估策略设定的第一指标条件；

若所述业务版本未达到所述第一指标条件，则判断所述A/B测试是否到达第二评估策略所设定的预设测试结束日，所述第一评估策略不同于第二评估策略；所述第一评估策略用于连续或定期地监控和版本评估，所述第二评估策略用于固定时长的版本评估；

若判断到达所述预设测试结束日，则利用采集的所述业务数据评估所述业务版本是否达到基于所述第二评估策略所设定的第二指标条件，得到所述业务版本的评估结果；在所述预设测试结束日之前，利用第一评估策略对业务版本进行连续评估，在所述预设测试结束日基于所述第二评估策略对业务版本作最终评估；

其中，所述第一指标条件和所述第二指标条件由预先分配的预设错误率确定，所述预先分配的预设错误率由提前决策概率所确定。

2.如权利要求1所述的方法，若所述业务版本达到所述第一指标条件，则还包括：

根据所述业务版本达到第一指标条件，确定对所述业务版本的评估结果。

3.如权利要求1所述的方法，若判断结果确定未到达所述预设测试结束日，则还包括：

返回所述采集A/B测试中的业务版本在运行过程中的业务数据。

4.如权利要求1所述的方法，在所述A/B测试开始之前，还包括：

根据所述第二指标条件预估在评估所述业务版本是否达到基于所述第二评估策略所设定的第二指标条件时，所采集的所述业务数据的数据量；

根据预估的所述业务数据的数量预估所述预设测试结束日。

5.如权利要求1所述的方法，还包括：

确定为所述第一评估策略和第二评估策略各自配置的预设错误率；

基于各自的所述预设错误率预估所述第一指标条件和第二指标条件。

6.如权利要求5所述的方法，在利用采集的业务数据评估业务版本是否达到基于第一评估策略设定的第一指标条件之前，还包括：

从所述A/B测试的首个采集时间区间内采集的所述业务数据中提取评估指标数据；

利用提取到的所述评估指标数据为输入，调整预估的所述第一评估策略中的超参数，直到得到达到预设期望值的所述第一指标条件；

根据所述达到预设期望值的所述第一指标条件时的超参数更新所述第一评估策略。

7.如权利要求1所述的方法，利用采集的业务数据评估业务版本是否达到基于第一评估策略设定的第一指标条件，包括：

利用所述第一评估策略对采集的所述业务数据进行处理，得到针对所述业务版本的第一评估指标；

评估所述第一评估指标是否达到所述第一指标条件。

8.如权利要求1所述的方法，利用采集的所述业务数据评估所述业务版本是否达到基于所述第二评估策略所设定的第二指标条件，包括：

利用所述第二评估策略对采集的所述业务数据进行处理，得到针对所述业务版本的第二评估指标；

评估所述第二评估指标是否达到所述第二指标条件。