[发明专利]基于AB测试结果的数据分析方法、装置、设备及介质

权利要求书

1.一种基于AB测试结果的数据分析方法，包括：

在第一时间段内，将测试应用和当前应用分别提供给实验组和对照组进行AB测试，其中，测试应用与当前应用之间具有至少一项差异应用功能；

根据实验组和对照组在第一时间段内的留存率，预测实验组和对照组在第二时间段内的留存率指标值，第一时间段小于第二时间段；

根据实验组和对照组在第二时间段内的留存率指标值，计算实验组和对照组之间的留存率指标绝对差值；

根据所述留存率指标绝对差值，确定测试应用中所述差异应用功能的效果。

2.根据权利要求1所述的方法，其中，根据实验组和对照组在第一时间段内的留存率，预测实验组和对照组在第二时间段内的留存率指标值，包括：

根据实验组和对照组在第一时间段内的留存率，拟合得到与实验组和对照组分别对应的预测幂函数；

根据所述第一时间段和所述第二时间段，确定预测时间区间；

根据各所述预测幂函数，分别预测所述实验组和对照组在所述预测时间区间内的留存率；

根据实验组和对照组在第一时间段内的留存率，以及实验组和对照组在所述预测时间区间内的留存率，预测实验组和对照组在第二时间段内的留存率指标值。

3.根据权利要求2所述的方法，其中，所述留存率指标值包括：第1天到第N天内访问应用的活跃天数；

根据实验组和对照组在第一时间段内的留存率，以及实验组和对照组在所述预测时间区间内的留存率，预测实验组和对照组在第二时间段内的留存率指标值，包括：

将所述实验组和对照组在所述第二时间段内每天的留存率进行累加求和，得到所述实验组和对照组在第二时间段内的留存率指标值。

4.根据权利要求1所述的方法，其中，根据实验组和对照组在第二时间段内的留存率指标值，计算实验组和对照组之间的留存率指标绝对差值，包括：

将实验组的留存率指标值减去对照组的留存率指标值的差值，确定为实验组和对照组之间的留存率指标绝对差值。

5.根据权利要求1-4任一项所述的方法，在根据所述留存率指标绝对差值，确定测试应用中所述差异应用功能的效果之前，还包括：

将所述留存率指标绝对差值输入至预先训练的差值修正模型中，并使用所述差值修正模型的输出结果，更新所述留存率指标绝对差值。

6.根据权利要求5所述的方法，在将所述留存率指标绝对差值输入至预先训练的差值修正模型中之前，还包括：

获取多个标注样本，每个标注样本中包括：实验样本组和对照样本组在所述第二时间段内，留存率指标绝对差值以及留存率指标绝对差值的真实值；

使用各所述标注样本，对预设的机器学习模型进行训练，得到所述差值修正模型。

7.根据权利要求6所述的方法，其中，获取多个标注样本，包括：

根据与当前应用匹配的全量应用对象中各应用对象的应用数据，在全量应用对象中获取多个异常应用对象分组；

其中，每个异常应用对象分组中包括：应用数据的差异值满足差异值门限条件的实验样本组和对照样本组；

在所述第二时间段内，分别对每个所述异常应用对象分组中的实验样本组和对照样本组进行AA测试，得到AA测试结果；

根据所述AA测试结果，形成与每个异常应用对象分组分别对应的标注样本。

8.根据权利要求6或7所述的方法，每个标注样本中还包括：

与所述实验样本组和对照样本组分别对应的至少一个应用体验指标值、随机参数值以及所述第二时间段；

其中，将所述留存率指标绝对差值输入至预先训练的差值修正模型中，包括：

将与测试应用和当前应用分别对应的至少一个应用体验指标值、所述留存率指标绝对差值、随机生成的目标随机数以及所述第二时间段，输入至所述差值修正模型中。