[发明专利]一种利用多模态网络学习进行基于社交关系的电影推荐的方法

权利要求书

1.一种利用多模态网络学习进行基于社交关系的电影推荐的方法，其特征在于包括如下步骤：

1)针对于一组电影、用户，依据用户之间的相互关注关系、用户对于电影的评价构建含有其相关关系的SMR网络；

2)对于步骤1)所得到的SMR网络，利用随机游走的方法，针对于SMR网络构建采样路径并进行如下操作：对于所采样路径中的电影节点，利用其海报及描述信息形成电影描述映射，对于用户节点，生成用户的描述映射；对于电影及用户的描述映射求出损失值，并进行梯度下降求解获取最终的用户及电影表达；

3)利用步骤2)学习得到的用户及电影表达形成用户的电影推荐；

所述的步骤2)具体步骤为:

2.1)对于步骤1)形成的SMR网络利用随机游走的方法，针对于每一个节点进行采样，形成采样的路径；且进行路径采样时，限定只可以从被关注者到关注者进行采样；

2.2)利用步骤2.1)所采样的节点，首先对于用户节点，随机生成用户映射矩阵U；对于路径上的电影节点，利用卷积神经网络VGG-Net生成该电影的电影海报I＝{i₁,i₂,...,i_n}的视频表达Y＝{y₁,y₂,...,y_n}：其中n代表海报的张数，y_i代表第i张海报i_i对应的VGG-Net的输出表达；利用LSTM网络生成该电影的电影描述的文本表达X＝{x₁,x₂,...,x_n}：其中n代表电影描述的个数，且与海报的张数相同均为n，x_i代表第i段描述d_i对应的LSTM网络的输出；对于每一段描述，首先将该段的描述分成各个句子，对于每一个句子的每一个单词利用单词嵌入映射的方法，得到每一个单词的单词映射d_it，将每一个句子的单词映射序列(d_i1,d_i2,...,d_ik)作为LSTM网络的输入，获取每一个句子的LSTM网络的输出作为该句子映射表达，将每一段的所有句子表达通过一个额外的Mean-pooling层得到该段落的表达x_i；

2.3)利用步骤2.2)找出的电影的视频表达Y＝{y₁,y₂,...,y_n}与电影描述对应的文本表达X＝{x₁,x₂,...,x_n}，按照如下公式映射到同一多模态特征混合空间，并将两者加起来，得到多模态混合层的激活输出：

z_j＝g(W^d·x_j+αWⁱy_j)

其中，W^d与Wⁱ分别为对应于电影文本描述特征分量x_j与电影海报特征分量y_j的维度变换权重矩阵，α代表电影文本描述特征分量与电影海报特征分量的相加相对权重，+代表对于电影文本描述特征分量与电影海报特征分量进行按元素相加，z_j是最终形成的电影的第j项内容的混合表达；g(.)代表如下所示的元素级别的反正切函数：

2.4)针对于步骤2.3)获得的所有电影的混合描述Z＝(z₁,z₂,...,z_n)构成的电影矩阵V与步骤2.2)获得的所有用户的映射构成的用户映射矩阵U，利用如下的目标函数来构建最终的训练网络：

其中，h_i为电影矩阵V或用户映射矩阵U的某个电影或某个用户的映射向量，激活损失函数l_v(.)为不同用户对于特定电影的相对喜欢程度，损失函数l_u(.)为特定用户对于不同电影的相对喜欢程度，下面对于这两个函数进行详述：

对于损失函数l_v(.)，其具体形式如下所示：

其中u⁺代表对于电影v_i有较高喜爱度的用户，u^-代表对于电影v_i有较低喜爱度的用户，m代表目标函数中的边缘值，0＜m＜1；

对于损失函数l_u(.)，其具体形式如下所示：

其中用户u_i对于电影v⁺比对于电影v^-有着更高的喜爱度，m代表目标函数中的边缘值，0＜m＜1；

上式中的函数均代表第j个用户对于电影内容的综合表达的排序模型，且满足对于任意的有序三元组(j,i,k)∈T＝{(j,i,k)}，有如下不等式成立：

其中，有序三元组(j,i,k)∈T代表第j个用户相对于电影k更喜欢电影i，u_j为用户j的映射向量，z_k为电影k的综合表达向量；T表示转置运算符号；

2.5)针对于步骤2.4)中的目标函数构建如下式所示的训练损失值作为最终整个训练模型的目标函数：

其中，θ为整个多模态网络模型中的所有参数，λ为目标函数的训练损失值与正则项之间的相对大小权衡参数；

2.6)针对于步骤2.5)中的目标函数，使用随机梯度下降的方法来更新参数，并且使用Adagrad的学习率更新方法，即对于参数θ，在第t步按照如下公式进行更新：

其中，ρ为最初的学习率，g_t为在第t步的子梯度；

2.7)针对于步骤2.6)的参数更新方法，经过预设次数的循环更新参数之后，形成最终的用户映射矩阵及电影的综合映射。

2.根据权利要求1所述利用多模态网络学习进行基于社交关系的电影推荐的方法，其特征在于所述的步骤3)具体为：

对于步骤2.7)形成的最终的用户映射矩阵及电影的综合映射，利用所形成的用户映射矩阵及电影的综合映射，对于所给的用户及相应电影，判断该用户对于某些电影的相对喜爱程度，并进行排序，将排序较为靠前的电影推荐给该用户，形成对于用户的电影推荐排序。