[发明专利]具有多门专家混合软演员评论家的视频推荐

权利要求书

1.一种用于多目标排序的计算机实施的方法，包括：

在包括多个专家和门控网络的多门专家混合(MMoE)层处，接收与一个或多个状态和一个或多个动作相对应的隐藏嵌入；

由使用软演员评论家(SAC)的多个专家中的每个，基于所述隐藏嵌入生成预测，每个预测均包括分别对应于一个或多个动作的一个或多个预测参数；

根据由所述门控网络为每个专家生成的权重，获取所述多个专家预测的加权和；以及

基于所述加权和，从所述MMoE层生成MMoE布局输出。

2.如权利要求1所述的计算机实施的方法，其中，所述隐藏嵌入通过以下步骤生成：

将所述一个或多个状态和所述一个或多个动作的多个特征划分成分类特征和数字特征；以及

限定通用动态特征嵌入词典，以将所述多个特征映射或投影到用于所述隐藏嵌入的统一嵌入空间中。

3.如权利要求2所述的计算机实施的方法，其中，限定通用动态特征嵌入词典以将所述多个特征映射或投影到统一嵌入空间中包括：

对于针对分类特征的每个嵌入查找，使用单热或多热矢量；以及

使用变换权重矩阵，将所述分类特征从稀疏特征变换为密集特征。

4.如权利要求1所述的计算机实施的方法，其中，每个专家均为经训练的深度神经网络(DNN)，其使用对应于一个或多个状态的嵌入作为所述每个专家的输入，并且使用对应于一个或多个动作的嵌入作为用于训练的标记。

5.如权利要求4所述的计算机实施的方法，其中，在训练过程期间，所述一个或多个动作中的每个的损失计算彼此独立。

6.如权利要求4所述的计算机实施的方法，其中，所述训练过程包括以下步骤：

将每个动作视作为任务；

向用于每个动作的策略函数中添加熵正则化项；

导出软策略迭代，以交替地重复软策略评估和软策略改进；

通过使软Bellman残差最小化来学习软函数参数；以及

通过使所述策略函数与通过将所述软Q-函数的指数与分配函数相除而获得的商之间的KL散度最小化来学习策略参数。

7.如权利要求6所述的计算机实施的方法，其中，在所述软策略迭代期间，对每个策略改进步骤采用多个Q-函数之中具有最小Q值的Q-函数。

8.一种用于多目标排序的系统，包括：

一个或多个处理器；以及

非暂时性计算机可读介质或媒质，包括一组或多组指令，所述一组或多组指令在由所述一个或多个处理器中的至少一个执行时使得执行以下步骤，所述步骤包括：

将来自一个或多个数据源的特征转换为隐藏嵌入；

在包括多个专家和门控网络的多门专家混合(MMoE)层处接收所述隐藏嵌入；

由使用软演员评论家(SAC)的多个专家中的每个，基于所述输入生成预测，每个预测均包括分别对应于一个或多个动作的一个或多个预测参数；

根据由所述门控网络为每个专家生成的权重，获取所述多个专家预测的加权和；以及

基于所述加权和，从所述MMoE层生成MMoE布局输出。

9.如权利要求8所述的系统，其中，将来自一个或多个数据源的特征转换为隐藏嵌入包括以下步骤：

将所述特征划分成分类特征和数字特征；以及

限定通用动态特征嵌入词典，以将所述特征映射或投影到用于所述隐藏嵌入的统一嵌入空间中。

10.如权利要求9所述的系统，其中，限定通用动态特征嵌入词典以将输入特征映射或投影到统一嵌入空间中包括以下步骤：

对于针对分类特征的每个嵌入查找，使用单热或多热矢量；以及

使用变换权重矩阵，将所述分类特征从稀疏特征变换为密集特征。