[发明专利]利用变分的正则化流实现的项目推荐方法及模型训练方法

说明书

本发明提供了一种利用变分的正则化流实现的项目推荐模型训练方法及项目推荐方法，采用带注意力机制的循环神经网络并加入正则化流的变分推断，通过学习会话序列的隐含变量，为用户推荐下一次点击的项目，只通过用户点击过的项目序列数据就可以稳定有效地近似推断整个会话序列的下一次点击项目，而且预测模型加入注意力机制来增强会话中重要的项目点的权重，大大提高了预测的精确度。此外，本发明在模型中加入了变分的正则化流去学习隐含变量的真实分布，这可以减小传统的变分模型(比如VAE)在基于会话的推荐问题中的误差。

技术领域

本发明属于机器学习中的神经网络领域，是一种基于深度学习的方法，主要利用正则化流(Normalizing Flow)去挖掘基于会话(session-based)的项目序列中存在的潜在信息，学习每个项目序列在潜在空间中的隐含变量，并用这些隐含变量去预测用户下一次可能点击的项目，并为用户推荐该预测项目。

背景技术

首先介绍一下session-based的概念：session是服务器端来记录识别用户的一种机制，典型的场景比如购物车，服务端为特定对象创建的特定的会话(session),用于标识这个对象，并跟踪用户的浏览点击行为，从而生成了一组用户点击过的序列数据，我们以用户点击的商品序列为例，研究用户的浏览点击行为，分析用户的商品喜好，预测用户可能点击的下一个商品，并为用户推荐该商品，这一类问题被称作基于会话的推荐问题(SBR)。

传统的方法采用会话序列中项目(items)间的相似性预测下一个点击的项目(item)。这种方法没有考虑项目间的先后顺序以及整个序列的信息，无法充分利用会话数据，导致预测准确率不高。还有一类方法使用马尔科夫决策过程，刻画序列信息，通过计算转移概率去预测下一个点击的项目，这种方法的缺点是状态的数量巨大，会随着维度指数上升，导致无法计算。由于会话数据中缺少用户的特征信息以及会话数据的序列很长(其中包含了太多的点击过项目)，这种数据会很容易导致预测的错误。

基于深度学习方法，提供一种通过捕获长的会话序列中的信息提高预测精确度的项目预测方法，以解决传统项目推测方法中存在的预测准确率不高、预测效率低及随着状态数量剧增而导致无法预测等问题，正是本发明的研究任务。

发明内容

本发明的目的旨在针对传统项目推测方法存在的预测准确率不高、预测效率低等技术现状，提供一种利用变分的正则化实现的项目推荐模型训练方法，训练出的项目推荐模型能够实现对用户可能点击项目的准确、高效预测。

本发明的另一目的旨在提供一种利用上述项目推荐模型给用户进行项目推荐的方法。

本发明的思路为，利用循环神经网络(GRU或LSTM)和注意力机制(Attentionmechanism)去学习会话序列中项目间的潜在信息，从而更好的捕获序列中项目的先后顺序信息，这有助于对长序列的学习。此外，本发明增加变分推断的过程，用变分的正则化流去学习隐含变量的真实分布，这样很大程度能够避免直接使用变分自编码器(variationalautoencoder,VAE)的误差。

基于上述发明思路，本发明提供的利用变分的正则化流实现的项目推荐模型训练方法，其特征在于包括以下步骤：

S1，构建训练集：利用同一用户的基于会话的序列构建训练集；

S2，数据的预处理：将基于会话的序列划分为输入数据和标签项目，并将输入数据中的每一个项目进行嵌入，表示成嵌入向量；

S3，获取隐含变量，将表示成嵌入向量的输入数据输入循环神经网络，并引入正则化流学习算法和注意力机制，分别构建第一隐含变量和第二隐含变量，并将两个隐含变量拼接在一起获取最终的隐含变量；

S4，获取第一损失，将最终的隐含变量输入到分类器中，输出得到预测项目，利用预测项目和该会话序列的标签项目计算交叉熵损失，并将其作为第一损失；