[发明专利]一种多层级长文本向量检索方法、装置和电子设备

权利要求书

1.一种多层级长文本向量检索方法，其特征在于，包括：

将开放领域的长文本切分为文本片段；

利用训练好的编码器将所述文本片段和搜索请求分别编码为稠密向量；

利用文本片段和搜索请求的稠密向量，基于向量检索，查询得到与所述搜索请求相似的目标文本片段；

其中，所述编码器是利用包括多层级文本片段的训练数据集训练得到的；

所述多层级文本片段包括：包含答案的文本片段、包含答案的文档中的不包含答案的文本片段、与搜索请求相关的文本片段和/或与搜索请求不相关的文本片段；

所述编码器训练的目标函数为：

其中，

为搜索请求，为包含答案的文本片段， 为包含答案的文档中的不包含答案的文本片段，为与搜索请求相关的文本片段， 为与搜索请求不相关的文本片段；

为搜索请求与文本片段间的相关性，表示 ，， ， ；

为预设常数，表示搜索请求与两个层级文本片段间相关性的最小可接受距离；对于包括四个层级文本片段的训练数据集， 包括，表示搜索请求与a层级文本片段的相关性、搜索请求与d层级文本片段的相关性之间的最小可接受距离； 表示搜索请求与a层级文本片段的相关性、搜索请求与b层级文本片段的相关性 之间的最小可接受距离；表示搜索请求与a层级文本片段的相关性 、搜索请求与c层级文本片段的相关性之间的最小可接受距离；表示搜索请求与b层级文本片段的相关性 、搜索请求与c层级文本片段的相关性之间的最小可接受距离；表示搜索请求与b层级文本片段的相关性 、搜索请求与d层级文本片段的相关性之间的最小可接受距离； 表示搜索请求与c层级文本片段的相关性 、搜索请求与d层级文本片段的相关性 间的最小可接受距离。

2.如权利要求1所述的多层级长文本向量检索方法，其特征在于，通过切分包含答案的文档得到所述包含答案的文本片段以及所述包含答案的文档中的不包含答案的文本片段；所述与搜索请求相关的文本片段通过对搜索得到的与搜索请求相关的文档进行切分得到；所述与搜索请求不相关的文本片段通过对随机采样得到的文档进行切分得到。

3.如权利要求1所述的多层级长文本向量检索方法，其特征在于，所述利用文本片段和搜索请求的稠密向量，基于向量检索，查询得到与所述搜索请求相似的文本片段包括：

将所述文本片段的稠密向量构建向量索引；

根据所述搜索请求的稠密向量检索所述向量索引，得到与所述搜索请求相似的目标文本片段。

4.如权利要求1所述的多层级长文本向量检索方法，其特征在于，所述得到与所述搜索请求相似的目标文本片段后还包括：

获取所述目标文本片段与搜索请求的相似度的最高得分；

利用相似度的最高得分以及搜索请求与两个层级文本片段间相关性的最小可接受距离对所述目标文本片段进行筛选，得到目标层级文本片段。

5.如权利要求4所述的多层级长文本向量检索方法，其特征在于，所述筛选包括：

利用相似度的最高得分与所述最小可接受距离之差作为阈值，对所述目标文本片段进行筛选，若所述目标文本片段与搜索请求的相似度得分达到阈值，则该目标文本片段为所述目标层级文本片段。