[发明专利]一种结合Doc2vec和Faiss的个性化文献推荐方法

说明书

本发明公开了一种结合Doc2vec和Faiss的个性化文献推荐方法，包括：从学术文献库中采集学术文献数据并进行预处理，生成训练语料库；将训练语料库输入Doc2vec模型进行训练，得到语义模型；使用语义模型推断召回池文献Embedding和用户行为文献Embedding；将召回池文献向量添加至Faiss，构建索引向量库；制定用户Embedding计算规则，将所述用户行为文献Embedding进行线性加权作为用户特征向量；基于用户特征向量在Faiss中进行文献召回，为用户生成个性化文献推荐列表。本发明通过Doc2vec挖掘文献潜在的语义信息，能够更好的表示学习文献特征和用户特征，提升推荐效果；结合Faiss的高效检索性能，加快用户个性化文献推荐列表的产出速度。

技术领域

本发明涉及学术文献推荐技术领域，尤其涉及一种结合Doc2vec和Faiss的个性化文献推荐方法。

背景技术

学术文献自身具有丰富的文本信息，比如文献全文、标题、摘要和关键词等，因此基于内容的推荐算法在学术文献推荐领域应用较为广泛。基于内容的学术文献推荐算法核心工作之一是文献文本向量化，其主要目的是将文字信息表示成一系列能够表达文本语义的数值向量。将文本转化成向量的方法主要有两种：one-hot编码和词嵌入技术。One-hot编码由于使用稀疏向量来表示文本，当文本规模较大、词典中单词个数较多时，容易发生维度灾难；并且one-hot编码无法表示学习单词与单词之间的语义关系。词嵌入方法使用稠密向量表示学习单词语义信息，可以很好的克服上述缺点。词嵌入的典型代表算法是word2vec，其利用深度学习中神经网络的思想，能够充分表示学习词与词之间的语义关系并且解决了维度灾难问题。但word2vec不能有效的把文档中的单词向量结合成一个高质量的文档向量，忽略了词序问题。Doc2vec是在word2vec基础上提出的一种文档向量化算法，其通过在word2vec模型基础上增加一个文档ID，可以有效的从变长文本中学习到固定长度的特征表示，同时潜在的克服了词与词之间的顺序问题。

在得到用户特征向量和文献向量后，可以通过余弦相似度衡量用户Embedding和文献Embedding之间的相似性，按照相似度大小排序选取TopK个文献作为用户的推荐结果。通常可以使用暴力检索的方式计算向量与向量之间的余弦相似度，但伴随着用户量级和文献收录量级的增加，暴力检索的计算性能会大幅降低，时延急剧增加，不能够满足业务需求。Faiss是Facebook开源的一个用于向量检索的AI相似性检索库，可以根据精度、查找时间、内存大小等需求定义多种索引类型，如：基于高精度查找需求的索引类型、平衡查找精度和内存大小的索引类型、基于查找效率的索引类型和基于待检索向量库大小的索引类型。Faiss能够满足大规模向量相似性检索需求，可有效提升向量之间相似性计算效率。

发明内容

本发明的目的是提供一种结合Doc2vec和Faiss的个性化文献推荐方法。

本发明的目的通过以下的技术方案来实现：

一种结合Doc2vec和Faiss的个性化文献推荐方法，包括：

A、从学术文献库中采集学术文献数据并进行预处理，生成训练语料库；

B、将训练语料库输入Doc2vec模型进行训练，得到语义模型；

C、使用语义模型推断召回池文献Embedding和用户行为文献Embedding；

D、将召回池文献向量添加至Faiss，构建索引向量库；

E、制定用户Embedding计算规则，将所述用户行为文献Embedding进行线性加权作为用户特征向量；

F、基于用户特征向量在Faiss中进行文献召回，为用户生成个性化文献推荐列表。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：