[发明专利]A/B测试方法、装置及电子设备有效
申请号: | 202010097674.3 | 申请日: | 2020-02-17 |
公开(公告)号: | CN111309614B | 公开(公告)日: | 2022-10-18 |
发明(设计)人: | 程大曦;谢辉志;俞力;梁琛 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06F11/36 | 分类号: | G06F11/36 |
代理公司: | 北京晋德允升知识产权代理有限公司 11623 | 代理人: | 万铁占 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 测试 方法 装置 电子设备 | ||
1.一种A/B测试方法,包括:
确定在A/B测试中的测试版本所分配的测试用户组;
采集所述测试版本在运行时产生的测试指标数据;
将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较,所述历史指标数据包括所述测试版本对应的历史版本在运行时产生的数据;
根据比较结果确定所述测试版本的评估指标,以利用所述评估指标评估所述测试版本是否达到预设指标条件;
在确定在A/B测试中的测试版本所分配的测试用户组之前,还包括:
获取各用户的历史业务数据;
从所述各用户的历史业务数据中提取指定类业务特征信息;
根据所述指定类业务特征信息对所述各用户进行分簇得到至少一个用户团簇,使得所述测试用户组包括至少一个所述用户团簇;
根据所述指定类业务特征信息对所述各用户进行分簇得到至少一个用户团簇,包括:
根据所述指定类业务特征信息确定至少两个用户之间存在业务分享关系;
将所述至少两个用户划分到同一用户团簇;
根据所述指定类业务特征信息确定至少两个用户之间存在业务分享关系,包括:
若提取到不同的所述指定类业务特征信息,则统计所述指定类业务特征信息在获取的所述历史业务数据中的分布数据;
利用所述分布数据确定不同的所述指定类业务特征信息之间的关系权重;
筛选所述关系权重达到预设权重条件的所述指定类业务特征信息;
确定筛选的所述指定类业务特征信息所属用户之间存在业务分享关系。
2.如权利要求1所述的方法,若从所述历史业务数据中提取到所述用户的至少两个指定类业务特征信息,则根据所述指定类业务特征信息对所述各用户进行分簇得到至少一个用户团簇,包括:
确定所述用户与所述至少两个指定类业务特征信息之间的交互关系深度;
从所述至少两个指定类业务特征信息中选择所述交互关系深度达到预设深度条件的指定类业务特征信息;
根据选择的所述指定类业务特征信息对所述用户进行分簇。
3.如权利要求1所述的方法,所述指定类业务特征信息包括业务发生地的地理位置。
4.如权利要求1所述的方法,在将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较之前,还包括:
获取所述测试用户组中各用户的历史业务数据;
从所述历史业务数据中提取所述历史指标数据。
5.如权利要求1所述的方法,在从所述测试用户组采集所述测试版本在运行时产生的测试指标数据之前,还包括:
将所述测试版本发送给所述测试用户组中各用户关联的客户端。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010097674.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种输液软袋出袋装置及出袋方法
- 下一篇:一种显示面板和显示装置