[发明专利]一种融合多模态数据基于注意力感知的个性化服装推荐方法及系统

权利要求书

1.一种融合多模态数据基于注意力感知的个性化服装推荐方法，其特征在于，包括：

步骤1：利用隐语义模型LFM从用户评分数据中提取用户的隐因子向量矩阵；所述步骤1包括：

以用户为矩阵的行，服装项目为矩阵的列构建用户-服装项目的评分矩阵：

其中r_u,i为用户u对服装项目i的评分；p_u,k表示用户u的k维隐因子向量；q_i,k表示服装项目i的k维隐因子向量；F表示向量的维度；p_u表示用户的隐因子向量矩阵；

步骤2：使用BiGRU和注意力机制挖掘用户评论的特征信息，包括使用用户的隐因子向量矩阵指导用户评论生成单词级的注意力向量；所述步骤2包括：

将用户的历史评论集S＝{S₁，S₂，…，S_n，…，S_N}中的每条评论表示为单词的组合t₁,t₂,…，t_|S|；

使用预训练的BERT进行向量的嵌入表示，使用BiGRU处理每条评论的词向量序列；

将每个单词在前向和后向两个方向上的隐藏状态拼接得到上下文词向量，从而得到单词序列h_t；

使用评分中得到的用户隐因子向量指导评论生成单词级的注意力向量；

将用户隐因子向量矩阵p_u和单词序列h_t作为输入，进行注意力处理，计算公式为：

其中，表示用户u对单词t的注意力程度；W₁,W₂,W₃是要学习的权重；a_k表示执行归一化操作得到的第k个单词的注意力权重；a为单词级的注意力向量，是评论S的总结；

步骤3：在单词级的注意力向量上应用BiGRU拼接前向和后向两个方向上的隐藏状态，得到情境化的用户评论特征向量，然后基于情境化的用户评论特征向量得到用户评论偏好特征向量；所述步骤3包括：

采用注意力处理情境化的用户评论特征向量，生成用户评论偏好特征向量S_u，注意力计算的公式为：

β_n＝W₅tanh(W₄c_n+b₁)+b₂

其中β_n表示使用单层神经网络得到的第n条评论的注意力程度；c_n为情境化的用户评论特征向量；W₄，W₅为权重矩阵；b₁，b₂为偏置向量；g_n表示归一化操作后得到的第n条评论的权重；

步骤4：将用户最后一次购买的服装图像划分为m个区域并提取每个区域的服装图像特征向量，使用情境化的用户评论向量对服装图像特征进行注意力指导，得到用户评论指导生成的服装图像特征向量；所述步骤4包括：

将用户最后一次购买的服装图像划分为m个区域；

使用VGG网络对每个区域进行特征提取，得到原始的服装图像特征向量；

再将从用户评论中得到的情境化的用户评论特征向量使用平均池化汇总为单个向量c_s；

对原始的服装图像特征向量进行注意力处理，过滤噪音，得到用户评论指导生成的服装图像特征向量，注意力计算公式为：

δ_I＝tanh(W₆v_I⊙W₇c_S)

其中δ_I表示c_s对v_I的注意力程度，v_I＝{v_i|v_i∈R^d，i＝1，…，m}，v_I∈R^d×m，为原始的服装图像特征向量；c_s∈R^d；W₆，W₇为权重矩阵；⊙表示向量的连接；p_I∈R^m，表示m个区域的向量，对应于每个区域的注意力概率，p_i表示p_I中对应第i个区域的向量；V_L为用户评论指导生成的服装图像特征向量；

步骤5：将得到的用户评论偏好特征向量和用户评论指导生成的服装图像特征向量进行拼接生成用户偏好特征向量，作为编码器部分输出；

步骤6：将用户偏好特征向量输入到解码器部分，计算候选服装项目集的概率分布，选择概率最大的服装项目作为下一项推荐。

2.一种融合多模态数据基于注意力感知的个性化服装推荐系统，其特征在于，包括：

隐因子向量提取模块，用于利用隐语义模型LFM从用户评分数据中提取用户的隐因子向量矩阵；具体用于：

以用户为矩阵的行，服装项目为矩阵的列构建用户-服装项目的评分矩阵：

其中r_u,i为用户u对服装项目i的评分；p_u,k表示用户u的k维隐因子向量；q_i,k表示服装项目i的k维隐因子向量；F表示向量的维度；p_u表示用户的隐因子向量矩阵；

用户评论特征提取模块，用于使用BiGRU和注意力机制挖掘用户评论的特征信息，包括使用用户的隐因子向量矩阵指导用户评论生成单词级的注意力向量；具体用于：

将用户的历史评论集S＝{S₁，S₂，…，S_n，…，S_N}中的每条评论表示为单词的组合t₁,t₂,…，t_|S|；

使用预训练的BERT进行向量的嵌入表示，使用BiGRU处理每条评论的词向量序列；

将每个单词在前向和后向两个方向上的隐藏状态拼接得到上下文词向量，从而得到单词序列h_t；

使用评分中得到的用户隐因子向量指导评论生成单词级的注意力向量；

将用户隐因子向量矩阵p_u和单词序列h_t作为输入，进行注意力处理，计算公式为：

其中，表示用户u对单词t的注意力程度；W₁,W₂,W₃是要学习的权重；a_k表示执行归一化操作得到的第k个单词的注意力权重；a为单词级的注意力向量，是评论S的总结；

用户评论偏好特征向量得出模块，用于在单词级的注意力向量上应用BiGRU拼接前向和后向两个方向上的隐藏状态，得到情境化的用户评论特征向量，然后基于情境化的用户评论特征向量得到用户评论偏好特征向量；具体用于：

采用注意力处理情境化的用户评论特征向量，生成用户评论偏好特征向量S_u，注意力计算的公式为：

β_n＝W₅tanh(W₄c_n+b₁)+b₂

其中β_n表示使用单层神经网络得到的第n条评论的注意力程度；c_n为情境化的用户评论特征向量；W₄，W₅为权重矩阵；b₁，b₂为偏置向量；g_n表示归一化操作后得到的第n条评论的权重；

用户评论指导模块，用于将用户最后一次购买的服装图像划分为m个区域并提取每个区域的服装图像特征向量，使用情境化的用户评论向量对服装图像特征进行注意力指导，得到用户评论指导生成的服装图像特征向量；具体用于：

将用户最后一次购买的服装图像划分为m个区域；

使用VGG网络对每个区域进行特征提取，得到原始的服装图像特征向量；

再将从用户评论中得到的情境化的用户评论特征向量使用平均池化汇总为单个向量c_s；

对原始的服装图像特征向量进行注意力处理，过滤噪音，得到用户评论指导生成的服装图像特征向量，注意力计算公式为：

δ_I＝tanh(W₆v_I⊙W₇c_S)

其中δ_I表示c_s对v_I的注意力程度，v_I＝{v_i|v_i∈R^d，i＝1，…，m}，v_I∈R^d×m，为原始的服装图像特征向量；c_s∈R^d；W₆，W₇为权重矩阵；⊙表示向量的连接；p_I∈R^m，表示m个区域的向量，对应于每个区域的注意力概率，p_i表示p_I中对应第i个区域的向量；V_L为用户评论指导生成的服装图像特征向量；

用户偏好特征向量得出模块，用于将得到的用户评论偏好特征向量和用户评论指导生成的服装图像特征向量进行拼接生成用户偏好特征向量，作为编码器部分输出；

推荐模块，用于将用户偏好特征向量输入到解码器部分，计算候选服装项目集的概率分布，选择概率最大的服装项目作为下一项推荐。