[发明专利]一种基于层次注意力机制的社交图像推荐方法

摘要

本发明公开了一种基于层次注意力机制的社交图像推荐方法，包括：1.构造异构数据：用户对图像的评分矩阵、用户对图像的上传信息矩阵、用户与用户之间的社交关系矩阵；2.对异构数据和图像集处理得到社交嵌入矩阵、内容嵌入矩阵、风格嵌入矩阵；3.将嵌入矩阵输入到底层注意力网络中得到社交语义信息；4.通过顶层注意力网络得到社交语义信息的三个方面在影响用户选择图像时所占的权值；5.根据特征矩阵、三个方面的社交语义信息矩阵以及它们所占的权值计算得到评分预测值，从而进行图像推荐。本发明不仅利用用户的上传信息和用户间的社交信息有效解决数据稀疏性问题，更通过层次注意力机制很好的解释了用户喜好，实现精准的社交图像推荐。

主权项

1.一种基于层次注意力机制的社交图像推荐方法，其特征是按如下步骤进行：步骤1、构造异构数据，包括：用户对图像的评分矩阵R、用户对图像的上传信息矩阵L、用户与用户之间的社交关系矩阵S：令U表示用户集，且U＝{u1,...,ua,...,ub,...,uM}，ua表示第a个用户，ub表示第b个用户，M表示用户总数，1≤a,b≤M；令V表示图像集，且V＝{v1,...,vi,...,vj,...,vN}，vi表示第i个图像，vj表示第j个图像，N表示图像总数，1≤i,j≤N；令Rai表示第a个用户ua对第i个图像vi的评分值，则用户对图像的评分矩阵R＝{Rai}M×N；令Lai表示第a个用户ua对第i个图像vi的上传信息，则用户对图像的上传信息矩阵L＝{Lai}M×N；令Sab表示第a个用户ua对第b个用户的ub的社交关系，则用户与用户之间的社交关系矩阵S＝{Sab}M×M；步骤2、对所述异构数据和图像集V处理得到社交嵌入矩阵E、内容嵌入矩阵Fc和风格嵌入矩阵Fs：步骤2.1、通过随机游走算法对社交关系矩阵S进行处理，得到社交嵌入矩阵E；步骤2.2、通过深度卷积神经网络模型VGG提取图像的视觉特征：选取所述深度卷积神经网络模型VGG的最后一个全连接层的输出Fc作为第i个图像vi的内容嵌入向量Fic，从而得到全部图像的内容嵌入矩阵Fc；假设第m个卷积层有N_m个滤波器，每个滤波器大小为M_m，则所述深度卷积神经网络模型VGG的第m个卷积层特征的Gram矩阵利用式(1)计算第m个卷积层第p个滤波器和第q个滤波器之间特征映射关系式(1)中，表示第m个卷积层第p个滤波器第k个位置的激励值，表示第m个卷积层第q个滤波器第k个位置的激励值，1≤p,q≤N_m，1≤k≤M_m；利用式(2)得到第i个图像的风格嵌入向量Fis，从而得到全部图像的风格嵌入矩阵Fs：Fis＝[v(G1),...,v(Gl),...,v(G5)]                (2)式(2)中，v(Gm)表示第m个卷积层特征的Gram矩阵Gl的矢量化；步骤3、将社交嵌入矩阵E、内容嵌入矩阵Fc和风格嵌入矩阵Fs输入到底层注意力网络中得到影响用户对图片选择的三个方面的社交语义信息：步骤3.1、计算用户的上传一致性步骤3.1.1、令La表示第a个用户ua上传的图像集，则利用式(3)得到第j个图像vj在计算第a个用户ua的上传一致性时所占的权值αaj：式(3)中，σ(·)表示sigmoid函数；P_a和Q_a分别是第a个用户u_a的基础特征向量和辅助特征向量，W_j和X_j分别是第j个图像v_j的基础特征向量和辅助特征向量；E_a是第a个用户u_a的社交嵌入向量；和分别是第j个图像v_j的内容嵌入向量和风格嵌入向量；θ_u＝[w₂,W₁,W_c,W_s]是第一底层注意力网络BotNet1的参数，其中w₂是第一个sigmoid函数的参数，W₁是第一个矩阵参数，W_c是对内容嵌入矩阵F^c进行降维的参数，W_s是对风格嵌入矩阵F^s进行降维的参数；是第a个用户u_a喜欢的图像内容嵌入矩阵，并通过式(4)获得；是第a个用户u_a喜欢的图像风格嵌入矩阵，并通过式(5)获得；步骤3.1.2、对所述第j张图像v_j在计算第a个用户u_a的上传一致性时所占的权值α_aj进行归一化处理，通过式(6)得到归一化后的权值步骤3.1.3、利用式(7)得到第a个用户u_a的上传一致性步骤3.2、计算第a个用户u_a的社交影响力步骤3.2.1、令Sa表示与第a个用户ua有社交关系的用户集，则利用式(8)得到第b个用户ub在计算第a个用户ua的社交影响力时所占的权值βab：βab＝σ(w4×(W3×[Pa,Pb,Qa,Qb,Ea,Eb,Fac,Fas]))              (8)式(7)中，P_b和Q_b分别是第b个用户u_b的基础特征向量和辅助特征向量；E_b是第b个用户u_b的社交嵌入向量；和分别是第a个用户u_a的喜欢的图像集的内容嵌入矩阵和风格嵌入矩阵；θ_s＝[w₄,W₃]是第二底层注意力网络BotNet2的参数，其中w₄是第二个sigmoid函数的参数，W₃是第二个矩阵参数；步骤3.2.2、对所述第b个用户u_b在计算第a个用户u_a的社交影响力时所占的权值β_ab进行归一化处理，通过式(9)得到归一化后的权值步骤3.2.3、根据式(10)得到第a个用户u_a的社交影响力步骤3.3、令Ci表示第i个图像vi的上传者，且每个图像只有一个上传者，从而将第i个图像vi的上传者影响力表示为第i个图像vi的上传者Ci的辅助嵌入向量QCi；以所述上传一致性、社交影响力和上传者影响力作为三个方面的社交语义信息；步骤4、利用式(11)分别得到顶层注意力网络TopNet的三个输入Aλ，λ＝1,2,3：利用式(12)得到三个方面的社交语义信息分别在影响第a个用户ua选择图像时所占的权值γaλ：γaλ＝σ(w6×(W5×Aλ))              (12)式(12)中，θa＝[w6,W5]是顶层注意力网络的参数，w6是第三个sigmoid函数的参数，W5是第三个矩阵参数；步骤5、根据三个方面的社交语义信息及其所占的权值计算用户对图像的评分预测值，从而对用户进行图像推荐：步骤5.1、根据式(13)得到第a个用户u_a和第i个图像v_i对应的预测评分从而得到用户对物品的评分预测矩阵式(13)中，WiT是第i个图像vi的基础特征向量的转置向量；步骤5.2、建立如式(14)所示的损失函数L(θ)：式(13)中，θ＝[θ1,θ2]是待优化的参数，θ1＝[P,Q,W,X]是特征矩阵，θ2＝[θu,θs,θa]是注意力网络的参数，λ是正则化项，Da＝{(i,j)|i∈Ra∧j∈V‑Ra}是第a个用户ua的训练数据，Ra是第a个用户ua喜欢的图像集；步骤5.3、通过随机梯度下降法对所述损失函数L(θ)进行优化求解，使得L(θ)达到最小，从而得到最优预测评分矩阵，并根据所最优预测评分矩阵对用户进行图像推荐。