[发明专利]实验结果的确定方法、装置、设备及存储介质

说明书

本申请公开了一种实验结果的确定方法、装置、设备及存储介质，属于计算机技术领域。所述方法包括：获取AB实验中的用户实验数据；基于用户实验数据，获取实验组在n个评分指标下的均值后验分布，以及对照组在n个评分指标下的均值后验分布；基于实验组在n个评分指标下的均值后验分布，确定实验组对应的评分，以及基于对照组在n个评分指标下的均值后验分布，确定对照组对应的评分；将实验组对应的评分和对照组对应的评分进行比对，得到AB实验结果。本申请通过基于多个评分指标下的均值后验分布，确定实验组和对照组各自的评分，进而基于评分确定出较优的一组，实现了多评分指标下的AB实验结果的自动化确定，提高了AB实验结果的确定效率。

技术领域

本申请实施例涉及计算机技术领域，特别涉及一种实验结果的确定方法、装置、设备及存储介质。

背景技术

在互联网场景中，设计者们可以通过AB实验平台来测试新产品、新方案等的优劣。

以直播场景为例，设计者们通过AB实验平台以随机化实验的方式对新产品和当前在线产品进行比对。例如，以均匀划分的方式将用户分成实验组和对照组，实验组对应新产品，对照组对应当前在线产品，然后统计诸如用户浏览量、用户留存时长、人均观看时长、基础互动率等评分指标下的数据，最后对实验组和对照组分别在某一评分指标下的数据进行比对，确定出该评分指标下的AB实验结果。

然而，上述随机化实验的方式是基于单变量的假设校验，也即一次只能比较一个维度的评分指标，在有多维度的评分指标的情况下，需要人工结合各个评分指标下的AB实验结果进行比对，得到最终的AB实验结果，AB实验结果的确定效率不高。

发明内容

本申请实施例提供了一种实验结果的确定方法、装置、设备及存储介质，能够基于多维度的评分指标以量化的方式自动化生成AB实验结果，提高AB实验结果的确定效率以及合理性。所述技术方案如下：

根据本申请实施例的一个方面，提供了一种实验结果的确定方法，所述方法包括：

获取AB实验中的用户实验数据；其中，所述用户实验数据包括实验组和对照组分别在n个评分指标下的实验数据，所述n为正整数；

基于所述实验组在所述n个评分指标下的实验数据，获取所述实验组在所述n个评分指标下的均值后验分布，以及基于所述对照组在所述n个评分指标下的实验数据，获取所述对照组在所述n个评分指标下的均值后验分布，所述均值后验分布是指所述评分指标下的实验数据的均值的后验概率分布；

基于所述实验组在所述n个评分指标下的均值后验分布，确定所述实验组对应的评分，以及基于所述对照组在所述n个评分指标下的均值后验分布，确定所述对照组对应的评分；

将所述实验组对应的评分和所述对照组对应的评分进行比对，得到所述AB实验结果。

根据本申请实施例的一个方面，提供了一种实验结果的确定装置，所述装置包括：

获取AB实验中的用户实验数据；其中，所述用户实验数据包括实验组和对照组分别在n个评分指标下的实验数据，所述n为正整数；

基于所述实验组在所述n个评分指标下的实验数据，获取所述实验组在所述n个评分指标下的均值后验分布，以及基于所述对照组在所述n个评分指标下的实验数据，获取所述对照组在所述n个评分指标下的均值后验分布，所述均值后验分布是指所述评分指标下的实验数据的均值的后验概率分布；

基于所述实验组在所述n个评分指标下的均值后验分布，确定所述实验组对应的评分，以及基于所述对照组在所述n个评分指标下的均值后验分布，确定所述对照组对应的评分；

将所述实验组对应的评分和所述对照组对应的评分进行比对，得到所述AB实验结果。