[发明专利]AB测试系统指标置信区间的计算方法、装置和服务器

说明书

本发明涉及计算机技术领域，公开了一种AB测试系统指标置信区间的计算方法、装置和服务器。该AB测试系统指标置信区间的计算方法包括以下步骤：将AB测试系统管理的流量进行第一预设值次全局划分，得到各次全局划分下对应分成的若干个组，所述各次全局划分之间相互平行；计算各次全局划分对应的若干个组对应的指标值，得到各次全局划分相应数量的若干个数值；根据从各次全局划分的若干数值中随机抽取的数值，得到各次全局划分中第二预设值个分组大小对应的差异值；合并各次全局划分中所述第二预设值个分组大小对应的差异值；根据合并后的差异值，得到置信区间。本发明提高了置信区间本身的准确性，对AB测试系统指标变化的置信程度提供更可靠的支持。

技术领域

本发明涉及计算机技术领域，特别是涉及一种AB测试系统指标置信区间的计算方法、装置和服务器。

背景技术

随着互联网应用的深入发展，人类逐渐从信息匮乏的时代迈进了信息大爆炸的新纪元，互联网上浩如烟海的新闻咨询以及玲琅满目的视频信息让徜徉在网络世界中的人们无从选择。信息大爆炸的时代背景下，有效和无效信息并存，这导致人们获取对自己有益信息的代价大增，因此如何更加准确的帮助用户获取到有益信息成了互联网时代核心技术之一，也正是在这个大背景下，推荐系统应运而生了。推荐系统的核心使命就是尽最大可能给用户提供其喜欢的或对其有益的信息，避免用户被淹没在无效信息的海洋中。推荐系统在互联网新闻，短视频，电子商务等领域应用广泛，是一种动态变化的系统，通过获取用户对系统所推荐内容的行为信息，不断优化内部策略和算法，提升推荐质量和用户体验，使用户受益。其中，推荐系统推荐质量的优化是通过不间断的算法和策略迭代来实现的，而算法和策略的迭代又是通过AB测试来完成的。AB测试指在推荐系统中有算法A和B，想要评估A和B两个算法哪个效果更好，需要先定义一系列指标，例如点击率等，然后通过在不同用户组上分别使用算法A和算法B进行线上内容推荐，并且评估使用了特定算法的组中的指标值，用来判断算法A和算法B孰优孰劣。AB测试是一种评估算法或策略效果，实现算法或策略迭代的核心方法，AB测试系统正是实施AB测试方案的一种系统。使用AB测试系统的实验实施者提供可靠的指标数据用于判断不同用户组上所采用的算法的优劣。由于不同用户组在使用AB测试系统中，不同用户组上的指标数值可能产生完全相反的变化趋势，则使得无法直接根据不同用户组上的指标数值变化来用来判断算法A和算法B孰优孰劣。

对于上述问题，在现有技术中，将置信区间应用在AB测试系统的指标分析中，通过分别计算各个指标的变化率的置信区间，可以获得各个指标的变化率的置信度，通过各个指标差异的置信度来判断哪一个指标的变化率才更加可信，进而用以判断算法A和算法B孰优孰劣。而置信区间的计算方法有两种，其一在实际的AB测试中，由于需要求取置信区间的指标的分布在一般情况下未知，则首先需要先假定一个总体分布，然后通过统计学方法得到一个指标满足的复杂分布，再构造统计量，获得相关参数，但实际情况中，各自服从的指标分布可能有差异，因此无法用统一的解决方案求解所有指标的置信区间，而需要逐个指标按照特定情况计算，成本极大，使用也不方便；其二采用bootstrap方法，用经验分布去近似真正的分布，但该方法针对AB测试只在开始时进行一次全局流量划分，然后以该划分为标准进行后续置信区间的计算，使得采用模拟的指标的经验分布求得的置信区间偏窄，导致指标值在不进行任何实验策略改进的两个正交分组中的差异较为显著，容易误导了实验实施者对指标差异可信程度的判定。

对此，亟需提出一种求取高准确度置信区间的方法。

发明内容

本发明提供AB测试系统指标置信区间的计算方法、装置和服务器，提高了置信区间本身的准确性，对AB测试系统指标变化的置信程度提供更可靠的支持。

第一方面，本发明提供了一种AB测试系统指标置信区间的计算方法，包括以下步骤：

将AB测试系统管理的流量进行第一预设值次全局划分，得到各次全局划分下对应分成的若干个组，所述各次全局划分之间相互平行；