[发明专利]一种订单分配的在线测试方法及系统

说明书

技术领域

本发明涉及测试技术领域，尤其涉及一种订单分配的在线测试方法及系统。

背景技术

目前，针对搜索和推荐领域的在线测试框架，各个测试桶之间的计算都是相互独立的，每个分桶的计算结果与分桶的流量比例等信息无关，线上应用只需对请求流量按比例切分到响应的测试桶。然而针对库存分配问题，在离线阶段是基于全部流量库存和广告订单量计算出每个流量分配的每个订单的概率值，在在线阶段的排序阶段又受广告订单项的实际投放量、订单总量、平滑消耗等因素的影响。若简单采用现有的测试方法，即只对请求流量按比例切分，那么各个测试桶的执行都会对总库存产生消耗，每个桶的平滑控制、投放量控制又受其他桶的影响，这样导致了各个测试桶之间的计算相互影响，无法公平比较两个测试桶的效果。

因此，如何实现各个测试桶之间的计算互不影响，且各个测试桶之间的算法效果具有可比性是一项亟待解决的问题。

发明内容

有鉴于此，本发明提供了一种订单分配的在线测试方法，使每个测试桶的计算都与每个测试桶的流量大小相关，合理构造了计算互不影响的测试桶，从而使各个测试桶之间的算法效果具有可比性。

本发明提供了一种订单分配的在线测试方法，包括：

根据接收到的订单将所有订单请求的流量按照预设比例切分到基准桶以及测试桶，其中，每个测试桶分到的流量相同；

基于切分至所述基准桶以及测试桶的流量比例，对满足预设条件的订单进行在线桶内计算；

对经过在线桶内计算的订单在所述基准桶以及测试桶中进行离线分配求解，输出离线分配求解结果；

调用所述离线分配求解结果，输出每个订单在所述测试桶中的投放量。

优选地，所述预设条件包括：

订单在该桶的实际投放量＜订单计划的总平滑消耗值*该桶的流量占比，且订单在该桶的实际投放量＜订单计划的总投放量*该桶的流量占比。

优选地，所述方法还包括：

过滤不满足所述预设条件的订单。

优选地，所述对经过在线桶内计算的订单在所述基准桶以及测试桶中进行离线分配求解，输出离线分配求解结果包括：

基于全量二分图分别对所述基准桶以及测试桶进行离线分配求解，输出离线分配求解结果。

优选地，在所述调用所述离线分配求解结果，输出每个订单在所述测试桶中的投放量后，还包括：

对每个订单在所述测试桶中的投放量进行排序，输出每个订单在所述测试桶中的投放量排序结果。

一种订单分配的在线测试系统，包括：

切分模块，用于根据接收到的订单将所有订单请求的流量按照预设比例切分到基准桶以及测试桶，其中，每个测试桶分到的流量相同；

计算模块，用于基于切分至所述基准桶以及测试桶的流量比例，对满足预设条件的订单进行在线桶内计算；

离线分配求解模块，用于对经过在线桶内计算的订单在所述基准桶以及测试桶中进行离线分配求解，输出离线分配求解结果；

第一输出模块，用于调用所述离线分配求解结果，输出每个订单在所述测试桶中的投放量。

优选地，所述预设条件包括：

订单在该桶的实际投放量＜订单计划的总平滑消耗值*该桶的流量占比，且订单在该桶的实际投放量＜订单计划的总投放量*该桶的流量占比。

优选地，所述系统还包括：

过滤模块，用于过滤不满足所述预设条件的订单。

优选地，所述离线分配求解模块具体用于：

基于全量二分图分别对所述基准桶以及测试桶进行离线分配求解，输出离线分配求解结果。

优选地，所述系统还包括：

第二输出模块，用于对每个订单在所述测试桶中的投放量进行排序，输出每个订单在所述测试桶中的投放量排序结果。

从上述技术方案可以看出，本发明公开了一种订单分配的在线测试方法，根据接收到的订单将所有订单请求的流量按照预设比例切分到基准桶以及测试桶，其中，需要满足切分至测试桶的流量相同，然后根据切分至基准桶以及测试桶的流量比例，对满足预设条件的订单进行在线桶内计算，然后，对经过在线桶内计算的订单在基准桶以及测试桶中进行离线分配求解输出离线分配求解结果，最后调用离线分配求解结果，输出每个订单在所述测试桶中的投放量。实现了使每个测试桶的计算都与每个测试桶的流量大小相关，合理构造了计算互不影响的测试桶，从而使各个测试桶之间的算法效果具有可比性。

附图说明