[发明专利]一种应用于对照测试系统中的对照数据测试方法及装置

说明书

本申请公开了一种应用于对照测试系统中的对照数据测试方法及装置，通过对于对照测试中各模块的交互实现了多种检验模型的配置，以及选取对应的测试数据输入相关模型以得到测试结果，该多模型的配置过程可以很好应用于多种场景中，以满足不同场景下的检验需求，提高了检验过程的扩展性及灵活性。具体包括：获取第一检验模型的配置信息，若存在第二检验模型等待运行，则根据所述第一检验模型的配置信息与所述第二检验模型的配置信息生成对比信息，通过所述目标接口接入所述对比信息，以使得所述对照测试系统中的指标计算模块生成对应的计算线程；根据所述计算线程对所述第二检验模型进行计算。

技术领域

本申请涉及计算机技术领域，尤其涉及一种应用于对照测试系统中的对照数据测试方法及装置。

背景技术

对于终端应用程序(application，APP)产品设计和运营的时候，实验人员会有很多直觉想法，猜想某些设计和策略可能会更好，更符合用户需求。但是如何验证猜想，需要用数据来加以证明。一般可利用AB测试来发现不同策略在实验组人群中指标的差异以及衡量这些差异是否有统计上的显著性。例如，在微信的AB测试系统里有上千个指标，如何方便地对这些指标运用适合的统计检验方法成为一个难题。

通常在AB测试系统中，都配置了固定的检验模型，以为相关指标提供检验计算，当有其他指标需要添加并进行运算时，一般需要相关人员手动分析并添加相关检验模型。

由于在AB测试中，为保证测试的准确性，一般采用多指标多维度的分析，即需要为相关指标配置多种检验模型以满足测试需求，采用每个指标都手动分析并添加相关检验模型的方式会产生大量的配置工作，大大影响测试的效率。

发明内容

有鉴于此，本申请第一方面提供一种应用于对照测试系统中的对照数据测试方法，可应用于AB测试的系统或程序过程中，具体包括：获取第一检验模型的配置信息，所述第一检验模型为当前对对照测试数据进行对照测试所用的检验模型，所述第一检验模型通过目标接口接入所述对照测试系统；

若存在第二检验模型等待运行，则根据所述第一检验模型的配置信息与所述第二检验模型的配置信息生成对比信息，所述对比信息基于所述对照测试数据的区别或计算类型的区别确定，所述计算类型包括实时流计算或分布式计算；

通过所述目标接口接入所述对比信息，所述对比信息用于生成与所述第二检验模型对应的计算线程；

通过所述计算线程运行所述第二检验模型，以得到所述对照测试数据的的检验结果。

优选的，在本申请一些可能的实现方式中，所述获取第一检验模型的配置信息，包括：

确定所述第一检验模型对应的检验指标；

根据所述检验指标获取第一测试数据，所述第一测试数据用于指示所述检验指标在所述对照测试数据对应的数据；

根据所述第一测试数据确定第一计算类型，以得到所述第一检验模型的配置信息。

优选的，在本申请一些可能的实现方式中，所述根据所述第一检验模型的配置信息与所述第二检验模型的配置信息生成对比信息，包括：

获取所述第二检验模型的第二测试数据，所述第二测试数据用于指示运行所述第二检验模型所需的数据；

根据所述第二测试数据确定第二计算类型，并结合所述第一计算类型生成对比信息。

优选的，在本申请一些可能的实现方式中，所述通过所述目标接口接入所述对比信息，以使得所述对照测试系统中的指标计算模块生成对应的计算线程，包括：

若所述对比信息指示所述第一计算类型与所述第二计算类型不同，则在所述指标计算模块中增加与所述第二计算类型对应的计算线程，所述与所述第二计算类型对应的计算线程通过所述目标接口接入所述对照测试系统。