[发明专利]一种测试方法、系统及计算机设备

说明书

本申请公开了一种测试方法、系统及计算机设备。一种测试方法包括：基础信息读取步骤：读取指定的基础信息；结果信息获取步骤：根据所述基础信息调用投放模型获取结果信息；结果信息验证步骤：验证所述投放模型输出的所述结果信息是否符合常规规范；曲线报告获取步骤：根据所述投放模型输出的参数获取其各项指标，并生成输入参数序列与输出指标的线性关系图。本发明可通过简单的数据配置进行投放模型的效果验证，并生成对应效果曲线报告，解决了投放模型算法的结果难以验证的问题，减轻测试人员的技术压力以及减少测试人员的工作量，并帮助没有相关代码经验的非技术人员理解被测投放模型算法的效果情况。

技术领域

本申请涉及模型测试领域，尤其涉及一种基于投放模型算法效果的测试方法、系统及计算机设备。

背景技术

随着精准营销技术的发展，各企业都提升了对广告投放效果的要求。相比较过去凭借人工投放经验配置投放计划的模式，基于历史投放效果数据进行机器学习产出的智能投放模型更贴近企业的投放目标，能帮助企业得到更合理更科学的投放预算计划，得到更好的投放效果。基于上述背景，智能投放模型的引入增加了对于测试人员的模型验证的校验难度。机器学习存在一定的随机性与不确定性，针对投放模型产出的结果难以确认是否符合实际的需求。同时对于测试人员的技术水平提出了更高的要求，测试人员需同时掌握待测模型的方法论与历史效果数据处理的大数据研发技术。

由此，针对上述场景，我们使用python代码实现了一个针对投放模型算法效果的验证方法，本发明的输入项为投放模型的模型代码以及各维度的基础数据，输出项为投放计划配置结果和效果验证曲线报告。本发明提供了不同维度的验证方向，可基于测试需求调整输入数据，获取需要的效果曲线。减轻了测试人员的学习成本，并且产出的报告能帮助非技术同学更好的理解当前算法的分量效果情况。

发明内容

本申请实施例提供了一种基于投放模型算法效果的测试方法、系统及计算机设备，以至少解决相关技术中主观因素影响的问题。

本发明提供了一种测试方法，其中所述测试方法包括：

基础信息读取步骤：读取指定的基础信息；

结果信息获取步骤：根据所述基础信息调用投放模型获取结果信息；

结果信息验证步骤：验证所述投放模型输出的所述结果信息是否符合常规规范；

曲线报告获取步骤：根据所述投放模型输出的参数获取其各项指标，并生成输入参数序列与输出指标的线性关系图。

上述的测试方法，其特征在于，所述基础信息包括基础数据文件、模型入口信息、需调整的维度以及维度参数序列。

上述的测试方法，其特征在于，所述结果信息获取步骤具体包括，根据所述维度参数序列依次修改需调整的维度，调用所述投放模型获取结果信息。

上述的测试方法，其特征在于，结果信息验证步骤具体包括，验证所述投放模型输出的所述结果信息是否符合常规规范，并分别加入验证通过列表与验证失败列表，所述验证失败列表需包含失败信息。

上述的测试方法，其特征在于，曲线报告获取步骤具体包括，梳理所述验证通过列表的数据，根据所述投放模型输出的所述参数获取其各项指标，输入至excel文件并生成输入参数序列与输出指标的线性关系曲线图。

本发明还提供一种测试系统，其特征在于，适用于上述所述的测试方法，包括基础信息读取单元、结果信息获取单元、结果信息验证单元、曲线报告获取单元，其中：

基础信息读取单元：读取指定的基础信息；

结果信息获取单元：根据所述基础信息调用投放模型获取结果信息；

结果信息验证单元：验证所述投放模型输出的所述结果信息是否符合常规规范；