[发明专利]一种融合多模态数据基于注意力感知的个性化服装推荐方法及系统

说明书

本发明公开一种融合多模态数据基于注意力感知的个性化服装推荐方法及系统，使用用户的评分数据指导用户评论特征的生成，经过注意力机制处理过的评论特征包含了与用户更相关的评论信息；再根据处理后的评论特征指导服装图像细粒度特征向量的生成，从而得到用户所关注的服装关键图像特征，经过了两次注意力处理，得到了更准确的、更符合用户个性化偏好的服装特征向量。本发明利用注意力机制过滤了用户评论和服装图像数据中的噪音数据，从而得到了与用户更相关的评论与服装图像的多维度特征，更准确地体现了用户的个性化偏好，解决了用户兴趣挖掘不充分、推荐精度不够等问题。

技术领域

本发明属于智能推荐技术领域，尤其涉及一种融合多模态数据基于注意力感知的个性化服装推荐方法及系统。

背景技术

随着科技的快速发展及电子商务的广泛应用，各大电商平台纷纷崛起。然而信息数据不断增多，互联网数据呈爆发式增长。推荐系统作为解决“信息过载”的有效方法得到广泛的应用，其个性化服务已经渗透到人们的生活中，并发挥着越来越重要的作用。

推荐系统旨在根据用户历史行为信息对用户的特征、兴趣等因素进行深入分析挖掘，然后从海量的信息中匹配用户可能感兴趣的信息或服务。它最重要的特点在于能够充分适应用户需求不明确的问题，并且能够利用用户的历史数据，构建模型以捕获用户的兴趣。个性化推荐就是根据不同的个性化的需求为目标用户推荐相对更为感兴趣的特定的商品。服装个性化推荐技术中使用最为广泛的一种推荐算法是基于协同过滤的推荐，其根据用户不同用户跟商品的历史交互记录和相似用户等信息中挖掘出用户与物品之间的偏好函数关系，预测用户对没有产生过交互的商品的偏好，进而根据预测结果为不同的用户推荐其可能感兴趣的商品。但是协同过滤算法可能存在数据稀疏性、不能充分挖掘用户潜在兴趣等问题，其次，基于用户的协同过滤算法只利用了用户和商品的交互信息，忽略了服装产品本身的特征，如服装的视觉特征。最终导致推荐结果不精，用户体验度不高。

综上，目前，现有的服装推荐方法主要分为两类：

1)基于协同过滤方法的服装推荐技术，该方法虽然己经能够产生较好的推荐效果，但是协同过滤方法主要有以下缺陷：(1)仅利用较为稀疏的评分数据进行服装推荐，导致数据稀疏性、用户潜在兴趣挖掘不充分等问题；(2)忽略了服装产品本身的相关信息，例如：服装的图像特征。从而导致推荐系统精度不高。

2)基于服装图像特征的推荐系统，该方法主要有以下缺陷：(1)以服装图像全局特征作为图像的特征表示，缺乏细粒度的服装特征表示；(2)忽略了不同用户所关注服装的不同特征的用户个性化偏好，导致推荐结果的用户的个性化体验度不好。

发明内容

本发明针对现有的服装推荐结果不精，用户体验度不高的问题，提出一种融合多模态数据基于注意力感知的个性化服装推荐方法及系统。

为了实现上述目的，本发明采用以下技术方案：

本发明一方面提出一种融合多模态数据基于注意力感知的个性化服装推荐方法，包括：

步骤1：利用LFM从用户评分数据中提取用户的隐因子向量矩阵；

步骤2：使用BiGRU和注意力机制挖掘用户评论的特征信息，包括使用用户的隐因子向量矩阵指导用户评论生成单词级的注意力向量；

步骤3：在单词级的注意力向量上应用BiGRU拼接前向和后向两个方向上的隐藏状态，得到情境化的用户评论特征向量，然后基于情境化的用户评论特征向量得到用户评论偏好特征向量；

步骤4：将用户最后一次购买的服装图像划分为m个区域并提取每个区域的服装图像特征向量，使用情境化的用户评论向量对服装图像特征进行注意力指导，得到用户评论指导生成的服装图像特征向量；

步骤5：将得到的用户评论偏好特征向量和用户评论指导生成的服装图像特征向量进行拼接生成用户偏好特征向量，作为编码器部分输出；