[发明专利]一种汉语文本比对方法、存储介质及设备

说明书

本发明公开了一种汉语文本比对方法、存储介质及设备，本发明首先通过分片和文本相似度匹配从进行比对的两个文本中获取具有比对意义的若干对文本分片。然后，在配对的两个文本分片中利用汉语分词技术，结合近邻重组的思想分别将文本分片重组成由若干个相同且相邻的词拼接而成的文本片段的集合，最后在两个集合的文本片段之间通过最大匹配法进行文本的自动比对。该方法通过使用文本分片、文本相似度匹配、汉语分词、近邻重组等自然语言处理技术实现了具有语义引导的文本比对，降低了用最长公共子序列等暴力解法导致的时间复杂度过高的问题，从而快速标识出两文本相似内容的差异部分。

技术领域

本发明涉及文本处理技术领域，具体涉及一种汉语文本比对方法、存储介质及设备。

背景技术

文本比对在生物信息领域、中文信息等领域有着广泛应用，如基因序列比对、论文查重系统等。

余宁^[1]公开了一种文本比较方法、装置、计算机设备和存储介质,所述方法包括:获取第一文本及第二文本,将所述第一文本及所述第二文本分别转换成单行文字,并将转换后的所述第一文本及所述第二文本分别映射到X轴和Y轴；对在X轴上的所述第一文本及在Y轴上的所述第二文本进行遍历查询,获取所述第一文本与所述第二文本中相同文字的匹配点信息；根据所述第一文本与所述第二文本中相同文字的匹配点信息进行统计,获取文本比较结果。

郭叶^[2]提供了一种文本比对方法，所述方法包括：从第一文本中获取若干第一子文本以及从第二文本中获取若干第二子文本；根据所述第一子文本以及第二子文本获取若干相似度值；所述相似度值为一个第一子文本与一个第二子文本之间相似的程度；根据所述相似度值获取相似文本对，所述相似文本对包含第一子文本以及与该第一子文本相似度值最大的第二子文本；获取所述相似文本对中的第一子文本与第二子文本的至少一个区别特征。

韩志刚^[3]对第一文本和第二文本进行分块；针对由所述第一文本中文字块与所述第二文本中文字块组成的文字块对,获取所述文字块对的最长公共子序列对；根据相邻两个最长公共子序列对之间的字符信息,生成差异描述信息,所述差异描述信息用于显示所述文字块对的字符差异.通过本公开的技术方案,基于文字块组成的文字块对进行文本比较,效率比以行或者单词为最小单位进行文本比较的效率和精确度更高.

徐宁^[1]通过将待比较文本映射到二维平面,并根据最短相同字符间的最短距离找出文本之间的相同字符,提高了文本比较的速度,降低了文本比较的复杂度，但当待比对文本差异过大时比对的速度和准确度下降明显。

相比较徐宁^[1]的方法，郭叶^[2]对源文本进行了子文本划分，并通过计算相似度值来定位具有实际比对意义的子文本对从而降低误匹配率。但其在划分子文本时欠缺了语义完整性的考虑，以及忽略了划分后子文本的字符粒度大小对于计算短文本相似度值的影响。韩志刚^[3]在郭叶基础上优化了分块后的文本比较的方法，根据最长公共子序列的思想生成了两文本之间的差异。由于最长公共子序列时基于字符串匹配算法的思想，该方法在用于相似文本片段占比小或相似片段上下文位置差异过大的两个子文本之间的文本比对时，算法效率将大幅度下降。余宁、郭叶、韩志刚通过不同的方法提高了文本比对的速度或效率。但其任务对象主要是识别相同文本的修改记录。但对于相似部分占比较小或相似部分在各自文本上下文位置差异较大的两个文本(如历年来同一主题相关的政策文本)，识别其相似部分的差异时效率较差。

参考文件：

[1]余宁.文本比较方法,装置,计算机设备和存储介质,CN110147429A[P].2019.

[2]郭叶,武光鼎,曹琴.一种文本比对方法,装置,计算机设备及可读存储介质.

[3]韩志刚.文本比较方法,装置,存储介质及电子设备，CN109815452A[P].2019.

发明内容