[发明专利]AB测试系统指标置信区间的计算方法、装置和服务器有效
申请号: | 201810266136.5 | 申请日: | 2018-03-28 |
公开(公告)号: | CN108415845B | 公开(公告)日: | 2019-05-31 |
发明(设计)人: | 敖红波;杨水石;黄柏翔 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
主分类号: | G06F11/36 | 分类号: | G06F11/36 |
代理公司: | 北京市立方律师事务所 11330 | 代理人: | 刘延喜 |
地址: | 100084 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 测试系统 置信区间 全局 预设 分组大小对应 若干个组 服务器 计算机技术领域 随机抽取 指标变化 合并 置信 平行 管理 | ||
1.一种AB测试系统指标置信区间的计算方法,其特征在于,包括以下步骤:
将AB测试系统管理的流量进行第一预设值次全局划分,得到各次全局划分下对应分成的若干个组,所述各次全局划分之间相互平行;
计算各次全局划分对应的若干个组对应的指标值,得到各次全局划分相应数量的若干个数值;
根据从各次全局划分的若干数值中随机抽取的数值,得到各次全局划分中第二预设值个分组大小对应的差异值;
合并各次全局划分中所述第二预设值个分组大小对应的差异值;
根据合并后的差异值,得到置信区间。
2.根据权利要求1所述的方法,其特征在于,所述合并各次全局划分中所述第二预设值个分组大小对应的差异值,包括以下步骤:
整合各次全局划分中所述第二预设值个分组大小对应的差异值,获得第三预设值个分组大小对应的差异值;
将所述第三预设值个分组大小对应的差异值升序排列,获得数列;
其中,所述第三预设值为第一预设值*第二预设值。
3.根据权利要求2所述的方法,其特征在于,所述根据合并后的差异值,得到置信区间,包括以下步骤:
将置信水平乘以所述第三预设值,取整后得到的数值作为索引值;
将根据所述索引值在所述数列中查找到的差异值,作为所述置信水平对应的差异值;
根据所述置信水平对应的差异值,得到置信区间。
4.根据权利要求1所述的方法,其特征在于,所述根据从各次全局划分的若干数值中随机抽取的数值,得到各次全局划分中第二预设值个分组大小对应的差异值,包括以下步骤:
根据从各次全局划分的若干个数值中随机抽取的数值,计算各次全局划分中单个分组大小对应的差异值;
循环所述根据从各次全局划分的若干个数值中随机抽取的数值,计算各次全局划分中单个分组大小对应的差异值的步骤,直至得到各次全局划分中第二预设值个分组大小对应的差异值。
5.根据权利要求4所述的方法,其特征在于,所述根据从各次全局划分的若干个数值中随机抽取的数值,计算各次全局划分中单个分组大小对应的差异值,包括以下步骤:
对从各次全局划分的若干个数值中随机抽取第四预设值个数值求和,得到各次全局划分中的第一样本和;
对从各次全局划分的剩余的若干个数值中随机抽取第四预设值个数值求和,得到各次全局划分的第二样本和;
将的值作为各次全局划分中单个分组大小对应的差异值。
6.根据权利要求1所述的方法,其特征在于,所述将AB测试系统管理的流量进行第一预设值次全局划分中,各次全局划分均将全部用户划分到不同的组中,且每个用户只属于一个组。
7.一种AB测试系统指标置信区间的计算装置,其特征在于,包括以下模块:
划分模块,用于将AB测试系统管理的流量进行第一预设值次全局划分,得到各次全局划分下对应分成的若干个组,所述各次全局划分之间相互平行;
第一计算模块,用于计算各次全局划分对应的若干个组对应的指标值,得到各次全局划分相应数量的若干个数值;
第二计算模块,用于根据从各次全局划分的若干数值中随机抽取的数值,得到各次全局划分中第二预设值个分组大小对应的差异值;
合并模块,用于合并各次全局划分中所述第二预设值个分组大小对应的差异值;
第三计算模块,用于根据合并后的差异值,得到置信区间。
8.根据权利要求7所述的装置,其特征在于,所述合并模块包括以下单元:
整合单元,用于整合各次全局划分中所述第二预设值个分组大小对应的差异值,获得第三预设值个分组大小对应的差异值;
排序单元,用于将所述第三预设值个分组大小对应的差异值升序排列,获得数列;
其中,所述第三预设值为第一预设值*第二预设值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810266136.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:插件化调试方法及装置
- 下一篇:一种生成最小自动化测试用例集的方法和装置