[发明专利]文本条目搜索方法、装置、系统及存储介质

说明书

本发明实施例涉及一种文本条目搜索方法、装置、系统及存储介质，该方法包括：获取包含待识别实体的语言文本；利用统计语言模型从预构建的知识库中查询包含待识别实体的文字组集；根据文字组集生成索引向量；从预构建的数据库中查询与待识别实体对应的标识信息，并根据标识信息生成编码向量；根据索引向量、编码向量以及预设定的语言长度，构成知识识别特征；根据知识识别特征，以及从预构建的实体识别模型中提取的与语言文本对应的语言特征，获取意图槽位标签；根据意图槽位标签，搜索与包含待识别实体的语言文本对应的文本条目。通过该方法，提升了搜索与包含待识别实体的语言文本对应的文本条目的速率和准确率，大大提高了用户体验度。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种文本条目搜索方法、装置、系统及存储介质。

背景技术

现阶段，在大规模语料库上预训练的BERT(Bidirectional EncoderRepresentations from Transformers)等神经语言表示模型，可以很好地从纯文本中提取出丰富的语义模式，并且进行微调就可以提升下游各种神经语言程序学(Neuro-Linguistic Programming，简称NLP)任务的性能。然而，不论是哪种神经语言表示模型，对于新实体或者特定领域的实体都无法在短时间内进行识别。比如对19年新出的剧名《都挺好》《宸汐缘》等无法及时准确识别。通用语境下，“都挺好”一般都表示感受或者对某事物人的评价。当突然有部热剧叫“都挺好”，而用户的意图句子是“我想看都挺好”，原有模型未添加相应语料进行训练过，所以无法识别，进而也就无法搜索到与包含这些实体的语言文本对应的文本条目。而将这个实体从训练到更新上线也需要走一段流程，这段流程则需要花费很多时间，大大影响用户体验度。

发明内容

鉴于此，为解决现有技术中对于新的实体或者特殊领域内的实体无法及时识别，进而无法为用户搜索到与包含这些实体的语言文本对应的文本条目的技术问题，本发明实施例提供一种文本条目搜索方法、装置、系统及存储介质。

第一方面，本发明实施例提供一种文本条目搜索方法，该方法包括：

获取包含待识别实体的语言文本；

利用统计语言模型从预构建的知识库中查询包含待识别实体的文字组集；

根据包含待识别实体的文字组集生成索引向量；

从预构建的数据库中查询与待识别实体对应的标识信息，并根据标识信息生成编码向量；

根据索引向量、编码向量以及预设定的语言长度，构成知识识别特征；

根据知识识别特征，以及从预构建的实体识别模型中提取的与语言文本对应的语言特征，获取意图槽位标签；

根据意图槽位标签，搜索与包含待识别实体的语言文本对应的文本条目。

在一个可能的实施方式中，利用统计语言模型从预构建的知识库中查询包含待识别实体的文字组集，具体包括：

利用统计语言模型，从预构建的知识库中查询与语言文本中每一个字分别对应的文字组集，文字组集包括预设数量的文字组合，每一个文字组合包括预设数量的文字和预设数量的符号；

识别每一个字分别对应的文字组集，当确定文本语言中第i个字对应的第i文字组集中，存在与待识别实体相匹配的文字组合时，确定第i文字组集为包含待识别实体的文字组集，其中，i为大于或者等于1，小于或者等于语言文本中文字总数的数值，i依次递进取值，初始取值为1。

在一个可能的实施方式中，文字组集中的所有文字组合按照预设形式进行排序，生成与包含待识别实体的文字组集对应的索引向量，具体包括：