[发明专利]一种基于层次注意力机制的社交图像推荐方法

说明书

本发明公开了一种基于层次注意力机制的社交图像推荐方法，包括：1.构造异构数据：用户对图像的评分矩阵、用户对图像的上传信息矩阵、用户与用户之间的社交关系矩阵；2.对异构数据和图像集处理得到社交嵌入矩阵、内容嵌入矩阵、风格嵌入矩阵；3.将嵌入矩阵输入到底层注意力网络中得到社交语义信息；4.通过顶层注意力网络得到社交语义信息的三个方面在影响用户选择图像时所占的权值；5.根据特征矩阵、三个方面的社交语义信息矩阵以及它们所占的权值计算得到评分预测值，从而进行图像推荐。本发明不仅利用用户的上传信息和用户间的社交信息有效解决数据稀疏性问题，更通过层次注意力机制很好的解释了用户喜好，实现精准的社交图像推荐。

技术领域

本发明涉及图像推荐领域，具体地来说是一种基于层次注意力的社交图像推荐方法。

技术背景

基于图像的社交网络近年来已经成为了最流行的社交网络。随着移动手机用户的快速增加，很多用户拍摄图像并上传到社交网络平台上分享他们生活。大量上传的图像导致了图像过载，如何理解不同用户的喜好并对其进行精准的图像推荐成为了迫切的需要。

协同过滤算法可以有效的解决图像推荐的问题，它通过对用户历史行为数据的挖掘，发现用户的偏好并进行推荐。协同过滤算法虽然应用广泛，但是用户-图像交互行为矩阵的稀疏性限制了它的推荐性能。为了解决协同过滤的数据稀疏性问题，2016年RuiningHe等人提出了VBPR算法，通过深度神经网络CNN提取图像的视觉特征，将图像的视觉信息嵌入到已有的协同过滤算法中，充分挖掘了物品的内在属性来提高推荐精度。

但是基于图像视觉特征的协同过滤方法仅考虑了物品的内在属性并没有利用到用户的内在属性。社交图像平台一个很重要的特征就是不同用户之间存在社交关系，因此当用户在社交平台上表现对图像的偏好时，可以将社交关系嵌入到协同过滤算法中减轻数据稀疏性来提高系统推荐性能。

尽管人们越来越关注将各种辅助嵌入数据结合起来进行图像推荐，但是如何更好地以全面的方式利用社交图像平台的特征来提高推荐性能仍在探索中。除了提高社交图像推荐精度之外，如何挖掘不同用户的喜好，从而对推荐结果做出合理的解释也是需要解决的问题。

发明内容

本发明为解决现有技术的不足之处，提出一种基于层次注意力机制的社交图像推荐方法，以期能够充分用户间的社交关系、用户对图像的行为数据和图像视觉特征的嵌入有效的解决数据稀疏性问题，从而提高社交推荐精度；同时通过定义影响用户对图像选择的三个方面的语义信息，并利用层次注意力机制来说明用户对图像选择的影响力，从而很好的解决社交图像推荐的可解释性问题。

本发明为解决技术问题采用如下技术方案：

本发明一种基于层次注意力机制的社交图像推荐方法的特点是按如下步骤进行：

步骤1、构造异构数据，包括：用户对图像的评分矩阵R、用户对图像的上传信息矩阵L、用户与用户之间的社交关系矩阵S：