[发明专利]一种多层级长文本向量检索方法、装置和电子设备

说明书

本发明公开了一种多层级长文本向量检索方法、装置和电子设备。所述方法包括：将开放领域的长文本切分为文本片段；利用训练好的编码器将所述文本片段和搜索请求分别编码为稠密向量；利用文本片段和搜索请求的稠密向量，基于向量检索，查询得到与所述搜索请求相似的目标文本片段；其中，所述编码器是利用包括多层级文本片段的训练数据集训练得到的。通过考虑训练数据集中的文本片段与搜索请求的多层级相关性，使得得到的模型很容易在多个相关片段中选取到合适的片段，显著提高了召回效率。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种多层级长文本向量检索方法、装置和电子设备。

背景技术

开放领域问答是自然语言处理领域的一个重要任务。它可以简单描述为：给定一个事实型问题，系统需要从一个大规模多领域文档库中检索到问题答案所在文档，然后再从中提取或生成答案。对于开放领域问答任务，文档检索往往是最重要的一部分，文档检索的准确程度决定了系统整体的效果上限。

目前，开放领域问答任务中的文档检索常用的方法是基于稀疏矩阵或者稠密向量检索。其中，基于稀疏矩阵的检索方法通常使用TD-IDF或BM25等方法，这些方法一般包括以下几个步骤：对文档进行语义信息提取，包括关键词抽取、命名实体识别、专有名词提取等，获得文档中的关键信息；利用文档文本和语义信息提取结果构建多个索引域，这一步骤往往使用如Elasticsearch等搜索引擎工具；对于一个新的搜索请求，进行同样的语义信息提取，然后转化为稀疏矩阵，与库中文档进行对比打分，召回评分最高的结果。相对地，稠密向量检索方法通常利用神经网络模型将文档和搜索请求编码为稠密向量，再进行相似度计算，召回搜索结果。

基于稀疏矩阵的检索方法存在如下一些缺点：（1）需要进行手动特征工程，这是一个繁琐、费时又易出错的过程，而且每次进行手动特征工程的代码是针对特定的问题，当要解决一个新问题、新数据集时，我们需要重写相关代码；（2）很难解决在开放领域中词的歧义问题。例如，对于“苹果”这个词，如果忽略其上下文信息，系统很难识别它代表的是水果还是科技公司；（3）缺乏对语义的深度理解。例如，对于“工信部”和“工业和信息化部”两个词，系统不能自动发现其中关联性，需要人为进行归一化；（4）效果优化空间有限。由于人工特征工程的技术限制，当检索效果达到一定程度后，很难继续进行优化；（5）这样的方法泛化性差。由于系统中的各种索引构建有很强的领域属性，当遇到文本领域以外的搜索请求时，效果往往很差。

基于稠密向量的检索方法可以在一定程度上解决基于稀疏矩阵的搜索方法的诸多缺点。总的来说，稠密向量检索方法是训练一个基于深度神经网络的编码器，然后将文档和搜索请求编码成稠密向量，通过对文档和搜索请求的稠密向量进行相似度计算获得相关性得分。目前，训练编码器的数据集仅包含正负例：包含搜索请求对应的正确答案的文档片段作为正例，其他文档片段（检索得到、随机采样等方式获得）作为负例。模型通过一个二分类损失函数来优化，从而训练得到编码器。但是，使用正负二分类标签的训练方法存在以下的问题：在训练模型时将一个包含答案的长文档切分成多个文本片段后，其中，有的文本片段中包含文档，有的文本片段中虽然不包含答案，但是其与搜索请求语义相关。按照实际情况，该与搜索请求语义相关的文本片段应该作为正例，但是，按照现有方法，该与搜索请求语义相关的文本片段被作为了负例进行训练。所以，在实际应用中降低了模型的效果。例如，对于“2021年度北京市自然科学基金项目申请的材料要求是什么样”这样一个请求，其对应文档仅在开头有“2021年度北京市自然科学基金项目”的提示，但由于长文本被切成文本片段，开头一段被作为负例进行训练，从而降低了模型的效果。

发明内容

为了解决现有技术中存在的问题，本发明提供了如下技术方案。

本发明一方面提供了一种多层级长文本向量检索方法，包括：

将开放领域的长文本切分为文本片段；

利用训练好的编码器将所述文本片段和搜索请求分别编码为稠密向量；