[发明专利]一种基于层次注意力机制的社交图像推荐方法

权利要求书

1.一种基于层次注意力机制的社交图像推荐方法，其特征是按如下步骤进行：

步骤1、构造异构数据，包括：用户对图像的评分矩阵R、用户对图像的上传信息矩阵L、用户与用户之间的社交关系矩阵S：

令U表示用户集，且U＝{u₁,...,u_a,...,u_b,...,u_M}，u_a表示第a个用户，u_b表示第b个用户，M表示用户总数，1≤a,b≤M；令V表示图像集，且V＝{v₁,...,v_i,...,v_j,...,v_N}，v_i表示第i个图像，v_j表示第j个图像，N表示图像总数，1≤i,j≤N；令R_ai表示第a个用户u_a对第i个图像v_i的评分值，则用户对图像的评分矩阵R＝{R_ai}_M×N；令L_ai表示第a个用户u_a对第i个图像v_i的上传信息，则用户对图像的上传信息矩阵L＝{L_ai}_M×N；令S_ab表示第a个用户u_a对第b个用户的u_b的社交关系，则用户与用户之间的社交关系矩阵S＝{S_ab}_M×M；

步骤2、对所述异构数据和图像集V处理得到社交嵌入矩阵E、内容嵌入矩阵F^c和风格嵌入矩阵F^s：

步骤2.1、通过随机游走算法对社交关系矩阵S进行处理，得到社交嵌入矩阵E；

步骤2.2、通过深度卷积神经网络模型VGG提取图像的视觉特征：

选取所述深度卷积神经网络模型VGG的最后一个全连接层的输出Fc作为第i个图像v_i的内容嵌入向量F_i^c，从而得到全部图像的内容嵌入矩阵F^c；

假设第m个卷积层有N_m个滤波器，每个滤波器大小为M_m，则所述深度卷积神经网络模型VGG的第m个卷积层特征的Gram矩阵

利用式(1)计算第m个卷积层第p个滤波器和第q个滤波器之间特征映射关系

式(1)中，表示第m个卷积层第p个滤波器第k个位置的激励值，表示第m个卷积层第q个滤波器第k个位置的激励值，1≤p,q≤N_m，1≤k≤M_m；

利用式(2)得到第i个图像的风格嵌入向量F_i^s，从而得到全部图像的风格嵌入矩阵F^s：

F_i^s＝[v(G¹),...,v(G^l),...,v(G⁵)] (2)

式(2)中，v(G^m)表示第m个卷积层特征的Gram矩阵G^l的矢量化；

步骤3、将社交嵌入矩阵E、内容嵌入矩阵F^c和风格嵌入矩阵F^s输入到底层注意力网络中得到影响用户对图片选择的三个方面的社交语义信息：

步骤3.1、计算用户的上传一致性

步骤3.1.1、令L_a表示第a个用户u_a上传的图像集，则利用式(3)得到第j个图像v_j在计算第a个用户u_a的上传一致性时所占的权值α_aj：

式(3)中，σ(·)表示sigmoid函数；P_a和Q_a分别是第a个用户u_a的基础特征向量和辅助特征向量，W_j和X_j分别是第j个图像v_j的基础特征向量和辅助特征向量；E_a是第a个用户u_a的社交嵌入向量；和分别是第j个图像v_j的内容嵌入向量和风格嵌入向量；θ_u＝[w₂,W₁,W_c,W_s]是第一底层注意力网络BotNet1的参数，其中w₂是第一个sigmoid函数的参数，W₁是第一个矩阵参数，W_c是对内容嵌入矩阵F^c进行降维的参数，W_s是对风格嵌入矩阵F^s进行降维的参数；是第a个用户u_a喜欢的图像内容嵌入矩阵，并通过式(4)获得；是第a个用户u_a喜欢的图像风格嵌入矩阵，并通过式(5)获得；

步骤3.1.2、对所述第j张图像v_j在计算第a个用户u_a的上传一致性时所占的权值α_aj进行归一化处理，通过式(6)得到归一化后的权值

步骤3.1.3、利用式(7)得到第a个用户u_a的上传一致性

步骤3.2、计算第a个用户u_a的社交影响力

步骤3.2.1、令S_a表示与第a个用户u_a有社交关系的用户集，则利用式(8)得到第b个用户u_b在计算第a个用户u_a的社交影响力时所占的权值β_ab：

β_ab＝σ(w₄×(W₃×[P_a,P_b,Q_a,Q_b,E_a,E_b,F_a^c,F_a^s])) (8)

式(7)中，P_b和Q_b分别是第b个用户u_b的基础特征向量和辅助特征向量；E_b是第b个用户u_b的社交嵌入向量；和分别是第a个用户u_a的喜欢的图像集的内容嵌入矩阵和风格嵌入矩阵；θ_s＝[w₄,W₃]是第二底层注意力网络BotNet2的参数，其中w₄是第二个sigmoid函数的参数，W₃是第二个矩阵参数；

步骤3.2.2、对所述第b个用户u_b在计算第a个用户u_a的社交影响力时所占的权值β_ab进行归一化处理，通过式(9)得到归一化后的权值

步骤3.2.3、根据式(10)得到第a个用户u_a的社交影响力

步骤3.3、令C_i表示第i个图像v_i的上传者，且每个图像只有一个上传者，从而将第i个图像v_i的上传者影响力表示为第i个图像v_i的上传者C_i的辅助嵌入向量Q_Ci；

以所述上传一致性、社交影响力和上传者影响力作为三个方面的社交语义信息；

步骤4、利用式(11)分别得到顶层注意力网络TopNet的三个输入A_λ，λ＝1,2,3：

利用式(12)得到三个方面的社交语义信息分别在影响第a个用户u_a选择图像时所占的权值γ_aλ：

γ_aλ＝σ(w₆×(W₅×A_λ)) (12)

式(12)中，θ_a＝[w₆,W₅]是顶层注意力网络的参数，w₆是第三个sigmoid函数的参数，W₅是第三个矩阵参数；

步骤5、根据三个方面的社交语义信息及其所占的权值计算用户对图像的评分预测值，从而对用户进行图像推荐：

步骤5.1、根据式(13)得到第a个用户u_a和第i个图像v_i对应的预测评分从而得到用户对物品的评分预测矩阵

式(13)中，W_i^T是第i个图像v_i的基础特征向量的转置向量；

步骤5.2、建立如式(14)所示的损失函数L(θ)：

式(13)中，θ＝[θ₁,θ₂]是待优化的参数，θ₁＝[P,Q,W,X]是特征矩阵，θ₂＝[θ_u,θ_s,θ_a]是注意力网络的参数，λ是正则化项，D_a＝{(i,j)|i∈R_a∧j∈V-R_a}是第a个用户u_a的训练数据，R_a是第a个用户u_a喜欢的图像集；

步骤5.3、通过随机梯度下降法对所述损失函数L(θ)进行优化求解，使得L(θ)达到最小，从而得到最优预测评分矩阵，并根据所最优预测评分矩阵对用户进行图像推荐。