[发明专利]文本相似度识别方法、装置、电子设备及可读存储介质

说明书

本发明提供一种文本相似度识别方法、装置、电子设备及可读存储介质，方法包括：获取第一文本和第二文本，并确定第一文本和第二文本对应的公共子字符串；根据第一文本和第二文本的语序，分别确定公共子字符串的相似度贡献比例、以及第一文本和第二文本中除公共子字符串外的单字符的相似度贡献比例；根据公共子字符串的相似度贡献比例和单字符的相似度贡献比例,确定第一文本和第二文本之间的字符串相似度。本发明不仅考虑到文本语序，还利用了公共子字符串和其他单字符对第一文本和第二文本的字符串相似度的贡献度，可以提高字符串相似度的准确性，使得最终获得的字符串相似度满足用户预期。

技术领域

本发明涉及搜索技术领域，具体而言，涉及一种文本相似度识别方法、装置、电子设备及可读存储介质。

背景技术

文本相似性分析是NLP和搜索领域同时重点研究的问题，被广泛地应用在文本挖掘、文本聚类、搜索召回、搜索排序等场景中，其中，字符串相似在文本相似性分析中具有重要意义。

现有的字符串相似度计算方法比较成熟的是编辑距离算法(LevenshteinDistance)和杰卡德相似系数，杰卡德相似度系数忽略了语序问题，仅仅适用于字词顺序不敏感的文本模式，而编辑距离算法基于在字符串的尾部进行单字符增删改操作，仅仅考虑了字符串之间的绝对差异，导致计算结果与真实相似度误差较大。

因此，如何提供一种能够兼容各种文本模式且计算的相似度结果准确高的文本相似度识别方法，是需要解决的问题。

发明内容

本发明的目的之一在于提供一种本相似度识别方法、装置、电子设备及可读存储介质，用以兼容各种文本模式且提高字符串相似度准确性。

第一方面，本发明提供一种文本相似度识别方法，所述方法包括：获取第一文本和第二文本，并确定所述第一文本和所述第二文本对应的公共子字符串；根据所述第一文本和所述第二文本的语序，分别确定所述公共子字符串的相似度贡献比例、以及所述第一文本和所述第二文本中除所述公共子字符串外的单字符的相似度贡献比例；根据所述公共子字符串的相似度贡献比例和所述单字符的相似度贡献比例,确定所述第一文本和所述第二文本之间的字符串相似度。

第二方面，本发明提供文本相似度识别装置，包括：获取模块，用于获取第一文本和第二文本，并确定所述第一文本和所述第二文本对应的公共子字符串；确定模块，用于根据所述第一文本和所述第二文本的语序，分别确定所述公共子字符串的相似度贡献比例、以及所述第一文本和所述第二文本中除所述公共子字符串外的单字符的相似度贡献比例；识别模块，用于根据所述公共子字符串的相似度贡献比例和所述单字符的相似度贡献比例,确定所述第一文本和所述第二文本之间的字符串相似度。

第三方面，本发明提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现第一方面所述的方法。

第四方面，本发明提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。

本发明提供一种本相似度识别方法、装置、电子设备及可读存储介质，方法包括：获取第一文本和第二文本，并确定所述第一文本和所述第二文本对应的公共子字符串；根据所述第一文本和所述第二文本的语序，分别确定所述公共子字符串的相似度贡献比例、以及所述第一文本和所述第二文本中除所述公共子字符串外的单字符的相似度贡献比例；根据所述公共子字符串的相似度贡献比例和所述单字符的相似度贡献比例,确定所述第一文本和所述第二文本之间的字符串相似度。本发明通过获得第一文本和第二文本对应的公共子字符串，结合第一文本和第二文本的语序，综合考虑公共子字符串对应的相似度贡献比例、以及除公共子字符串外的其他单字符对第一文本和第二文本的相似度贡献比例，使得最终得到的字符串相似度不仅考虑到文本语序，还利用了公共子字符串和其他单字符对第一文本和第二文本的字符串相似度的贡献度，可以提高字符串相似度的准确性，使得最终获得的字符串相似度满足用户预期。

附图说明