[发明专利]基于语义的近似文本搜索方法、装置、计算机设备及介质

说明书

本申请实施例属于人工智能领域，涉及一种基于语义的近似文本搜索方法，包括获取待查询文本，提取待查询文本中的关键词，获得与待查询文本对应的关键词集合，将关键词集合输入词嵌入模型中，通过词嵌入模型计算出关键词的相近词，并将关键词和相近词作为查询关键词，根据查询关键词查询到与待查询文本相似的候选文本，计算待查询文本与候选文本之间的相似度，根据相似度确定出目标文本。本申请还提供一种基于语义的近似文本搜索装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，待查询文本可存储于区块链中。本申请可以提高搜索结果的准确率。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于语义的近似文本搜索方法、装置、计算机设备及介质。

背景技术

随着科技的不断发展，计算机人工智能技术变得日益完善和成熟，人工智能技术的发展使人们的生活越来越便利。例如，在海量数据的背景下进行近似文本搜索。

传统文本近似模型主要分为特征提取、向量相似度计算两个步骤，但是在文本特征提取时，传统文本近似模型主要基于概率抽取关键词方式，这种方式的缺点是很难从人的先验概率抓住文本的核心关键词。此外，在完成特征提取后没有考虑近似语义关键词占据的权重，如“人脸识别”和“人脸比对”在词意上本身存在关联性，从而导致搜索出的信息不够准确。

发明内容

本申请实施例的目的在于提出一种基于语义的近似文本搜索方法、装置、计算机设备及存储介质，以解决相关技术中特征提取难以抓住核心关键词，造成搜索结果准确性低的问题。

为了解决上述技术问题，本申请实施例提供一种基于语义的近似文本搜索方法，采用了如下所述的技术方案：

获取待查询文本，提取所述待查询文本中的关键词，获得与所述待查询文本对应的关键词集合；

将所述关键词集合输入词嵌入模型中，通过所述词嵌入模型计算出所述关键词的相近词，并将所述关键词和所述相近词作为查询关键词；

根据所述查询关键词查询到与所述待查询文本相似的候选文本；

计算所述待查询文本与所述候选文本之间的相似度，根据所述相似度确定出目标文本。

进一步的，所述提取所述待查询文本中的关键词包括：

对所述待查询文本进行分词和去停用词处理，得到候选关键词；

获取所述候选关键词的词语权重、词长、词现以及出现所述候选关键词的句子的位置信息；

根据所述词语权重、所述词长、所述词现以及所述位置信息，计算出所述候选关键词的词语重要度，所述词语重要度的计算采用如下公式：

其中，f为词语重要度，α、β、γ是超参，TFIDF_i为词语权重，lw为词长，minpos为位置信息，C为词现；

根据所述词语重要度确定出关键词。

进一步的，所述获取所述候选关键词的词语权重包括：

采用TF-IDF算法计算所述候选关键词的词频和逆文本频率；

根据所述词频和所述逆文本频率，计算出所述候选关键词的词语权值。

进一步的，所述根据所述词语重要度确定出关键词包括：

按照所述词语重要度从大到小对候选关键词进行排序，得到排序结果；

从所述排序结果中选取预设个数的候选关键词作为关键词。

进一步的，所述通过所述词嵌入模型计算出所述关键词的相近词包括：