[发明专利]信息流的排序方法、装置及计算机存储介质

说明书

本发明实施例公开了一种信息流的排序方法、装置及计算机存储介质。其中，该方法包括：根据用户特征及当前时刻状态，得到信息流推荐列表；根据信息流推荐列表和信息流特征，得到信息流推荐列表中每一信息流物料的评分；根据所述评分对所述信息流推荐列表中的信息流进行排序。根据本发明实施例，可以在信息流排序的过程中考虑长期收益，保持历史积累最大化，从而提升用户体验。

技术领域

本发明涉及机器学习技术领域，更具体地，涉及一种信息流的排序方法、装置及计算机存储介质。

背景技术

在信息流短视频场景中，用户每次刷新信息流短视频列表，都可以看到很多短视频按顺序排列。通常，需要在短视频列表中越靠前的位置显示用户越有可能感兴趣的短视频，以吸引用户点击。如果不能将用户最感兴趣的短视频排到最前面，用户需要下拉短视频列表来寻找最感兴趣的短视频，这样会增加用户成本。可见，信息流的排序非常重要。

现有技术中，在信息流的排序阶段，通常使用点击率预估模型实现对信息流的排序。但是点击率预估模型中主要考虑的是在当前场景下的最大的点击可能性，也就是说，使用点击率预估模型对信息流排序，只能保持短期最大化，给出的信息流排序并不一定是用户最感兴趣的，用户体验较差。

因此，发明人认为，有必要针对上述现有技术中存在的至少一个问题进行改进。

发明内容

本发明实施例的一个目的是提供一种信息流的排序的新技术方案。

根据本发明实施例的第一方面，提供了一种信息流的排序方法，所述方法包括：

根据用户特征及当前时刻状态，得到信息流推荐列表；

根据信息流推荐列表和信息流特征，得到信息流推荐列表中每一信息流物料的评分；

根据所述评分对所述信息流推荐列表中的信息流进行排序。

可选地，根据用户特征及当前时刻状态，得到信息流推荐列表，包括：

根据所述当前时刻状态、当前时刻的回报值、下一时刻状态、用户动作以及第一映射函数，计算得到评估值；

根据所述用户特征、所述当前时刻状态、所述评估值以及第二映射函数，计算得到所述信息流推荐列表。

可选地，通过以下公式计算得到所述当前时刻的回报值reward：

其中，click+β*read_time为所述用户动作，β为调权因子，为位置调权因子；N为信息流数量。

可选地，所述第一映射函数的损失函数critic_loss的表达式为：

critic_loss＝reward+gamma*v_t+1-v_t；

其中，reward为所述当前时刻的回报值；gamma为平滑因子；v_t为所述当前时刻状态；v_t+1为所述下一时刻状态。

可选地，所述第二映射函数的损失函数actor_loss的表达式为：

actor_loss＝reward_gain*td_error；

其中，td_error为所述评估值；reward_gain＝reward-origin_reward为当前时刻的回报值增益，origin_reward为原始回报值，reward为所述当前时刻的回报值。

可选地，所述方法还包括：

获取日志信息；