[发明专利]一种推荐平台的性能测试方法、装置、设备、及介质

权利要求书

1.一种推荐平台的性能测试方法，包括：

接收分流至实验平台的多个客户端推荐请求；

根据针对目标在线服务模块和匹配的目标备选服务模块的性能测试需求，在各客户端推荐请求中分别加入与目标在线服务模块或目标备选服务模块对应的实验标签，得到实验推荐请求；

将各实验推荐请求发送至推荐平台，以指示推荐平台根据实验标签所指定的目标在线服务模块或者目标备选服务模块，生成目标推荐结果反馈给客户端；

根据推荐平台提供的，各客户端针对目标推荐结果反馈的响应数据，对目标在线服务模块和目标备选服务模块进行性能比对；

其中，所述测试需求包括：独立实验的测试需求以及分层实验的测试需求；

所述独立实验用于进行不可独立拆分的多个目标在线服务模块和匹配的多个目标备选服务模块之间的性能测试；

所述分层实验用于进行可独立拆分的单一目标在线服务模块和匹配的单一目标备选服务模块之间的性能测试。

2.根据权利要求1所述的方法，其中，在根据推荐平台提供的，各客户端针对目标推荐结果反馈的响应数据，对目标在线服务模块和目标备选服务模块进行性能比对之后，还包括：

如果确定所述目标备选服务模块的性能优于所述目标在线服务模块，则向所述推荐平台提供配置切换信息；

其中，所述配置切换信息用于指示所述推荐平台切换使用所述目标备选服务模块生成在线的推荐结果。

3.根据权利要求1所述的方法，其中，所述实验标签中包括：服务配置信息；

所述服务配置信息中包括：目标在线服务模块或目标备选服务模块所配置服务器的服务器标识以及服务端口标识；

其中，所述服务配置信息用于指示推荐平台在生成推荐结果的过程中，调用与所述服务配置信息匹配的服务器的服务端口，以获取匹配的服务模块。

4.根据权利要求3所述的方法，其中，所述实验标签中还包括：用于识别目标在线服务模块或目标备选服务模块的服务模块识别信息；

所述服务模块识别信息，用于指示推荐平台在接收到各客户端针对目标推荐结果反馈的响应数据时，在所述响应数据中加入与目标推荐结果匹配的实验推荐请求中的服务模块识别信息，并反馈至实验平台；

根据推荐平台提供的，各客户端针对目标推荐结果反馈的响应数据，对目标在线服务模块和目标备选服务模块进行性能比对，包括：

获取推荐平台提供的，各客户端针对目标推荐结果反馈的响应数据；

根据各响应数据中包括的服务模块识别信息，将各响应数据划分为与目标在线服务模块匹配的第一响应数据集以及与目标备选服务模块匹配的第二响应数据集；

计算与所述第一响应数据集和第二响应数据集分别对应的至少一个性能评价指标；

根据与所述第一响应数据集和第二响应数据集分别对应的至少一个性能评价指标，对目标在线服务模块和目标备选服务模块进行性能比对。

5.根据权利要求4所述的方法，其中，所述性能评价指标包括下述至少一项：与目标推荐结果匹配的点击量、点击率、展现量以及展现率。

6.根据权利要求1所述的方法，所述方法还包括下述至少一项：

实时获取各客户端针对推荐平台提供的推荐结果反馈的响应数据，根据各客户端的用户属性信息以及匹配的各响应数据构建多个在线训练样本，并使用各在线训练样本对所述推荐平台中的各在线服务模块以及备选服务模块进行实时更新；

在检测到各客户端的确认数据收集指令时，获取各客户端的用户行为数据，根据各客户端的用户属性信息以及匹配的用户行为数据，构建多个离线训练样本，并使用各离线训练样本对所述推荐平台中的各在线服务模块以及备选服务模块进行实时更新。