[发明专利]一种文本相似度的确定方法及相关设备

说明书

本发明实施例公开了一种文本相似度的确定方法及相关设备，所述方法应用于数据处理技术领域，包括：调用主题词识别模型确定出第一文本对应的至少一个第一主题词和第二文本对应的至少一个第二主题词，并获取至少一个第一主题词中各个第一主题词的第一词向量和至少一个第二主题词中各个第二主题词的第二词向量；计算各个第一词向量与各个第二词向量之间的余弦相似度、第一主题词的数量M、以及第二主题词的数量N，进而基于预设文本相似度算法对各个余弦相似度、第一主题词的数量M、以及第二主题词的数量N进行计算，确定出第一文本和第二文本之间的相似度。采用这样的方式，可以提高确定文本相似度的准确度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种文本相似度的确定方法及相关设备。

背景技术

在自然语言处理(Natural Language Processing，NLP)中，经常会涉及到如何度量两个文本的相似度问题。在诸如对话系统和信息检索等的问题中，如何度量短文本(例句子或者短语等)之间的相似度尤为重要。当前采用的短文本相似度计算方法，通常是计算每个词的词向量，然后通过计算词向量间的余弦相似度得到文本间的相似度，这种方式对于所有词都“一视同仁”明显计算量加大，且同时减小了准确度。因此，如何准确且高效地的计算短文本之间的相似度，成为一个亟待解决的问题。

发明内容

本发明实施例提供了一种文本相似度的确定方法及相关设备，可以提高确定文本相似度的准确度。

第一方面，本发明实施例提供了一种文本相似度的确定方法，所述方法应用于服务器，该方法包括：

调用主题词识别模型确定出第一文本对应的至少一个第一主题词和第二文本对应的至少一个第二主题词；

获取所述至少一个第一主题词中各个第一主题词的第一词向量和所述至少一个第二主题词中各个第二主题词的第二词向量，所述第一词向量和第二词向量包括静态词向量或者动态词向量；

计算所述各个第一词向量与所述各个第二词向量之间的余弦相似度、所述第一主题词的数量M、以及所述第二主题词的数量N，所述M和N均为大于0的整数；

基于预设文本相似度算法对各个所述余弦相似度、所述第一主题词的数量M、以及所述第二主题词的数量N进行计算，确定出所述第一文本和所述第二文本之间的相似度。

在一个实施例中，所述基于预设文本相似度算法对所述余弦相似度、所述第一主题词的数量M、以及所述第二主题词的数量N进行计算，确定出所述第一文本和所述第二文本之间的相似度的具体实施方式为：

基于预设文本相似度算法对各个所述余弦相似度进行求和计算，并将求和计算结果除以log M与log N的和值，得到所述第一文本和所述第二文本之间的相似度。

在一个实施例中，所述调用主题词识别模型确定出第一文本对应的至少一个第一主题词和第二文本对应的至少一个第二主题词之前，还可以：

获取初始主题词识别模型，所述初始主题词识别模型包括特征函数；

基于预设特征函数对所述初始主题词识别模型中的所述特征函数进行调整；

获取包括主题词标注的训练短文本，并根据所述训练短文本对所述特征函数调整后的初始主题词识别模型进行训练优化，得到主题词识别模型。

在一个实施例中，所述获取所述至少一个第一主题词中各个第一主题词的第一词向量和所述至少一个第二主题词中各个第二主题词的第二词向量的具体实施方式为：

调用语言表示模型对所述至少一个第一主题词中的各个第一主题词和所述至少一个第二主题词中的各个第二主题词进行向量表示，得到所述各个第一主题词的第一词向量和所述各个第二主题词的第二词向量，所述第一词向量和所述第二词向量均为动态词向量。