[发明专利]一种跨语种的文档相似性检测方法

摘要

本发明提出一种跨语种的文档相似性检测方法，属于文档相似性比较技术领域。本发明方法首先将要比较的源文档和目标文档分别转换为基于同一种语言单词的中间文档，然后寻找两个中间文档之间的相似的中间表示集合，建立映射集合，最后根据相似文段的寻找方法，通过映射集合，找出源文档和目标文档的相似文段。本发明方法提供了一种跨语种的文档相似性检测方法，可以较好地解决跨语种文档相似检测的难点，并得到较好的检测效果。

主权项

一种跨语种的文档相似性检测方法，其特征在于，所述检测方法包括以下步骤：步骤一、将要比较的源文档和目标文档分别转换为基于同一种语言单词的中间文档，所述中间文档都是由中间表示集合组成，所述的中间表示集合由中间表示集合形成，所述的中间表示为文档分词得到的单词或词组所对应的转换成的语言的单词或词组；步骤二、寻找两个中间文档之间相似的中间表示集合，建立映射集合W，具体过程如下：首先，枚举两个中间文档所有中间表示集合的组合(SA，SB)，其中，SA为源文档转换的中间文档中的中间表示集合，SB为目标文档转换的中间文档中的中间表示集合；然后，针对每个组合(SA，SB)，枚举该组合中两个中间表示集合中的中间表示的组合(ai，bj)，其中，ai为SA中的第i个中间表示，bj为SB中的第j个中间表示；最后，确定每一对中间表示组合(ai，bj)的相似度，在相似度超过所设定的阈值Q之后，建立两个中间表示集合SA与SB的映射，并将建立的映射加入到映射集合W中，将组合(SA，SB)中的中间表示组合的相似度的最大值作为SA与SB所建立的映射的相似度，若相似度未超过阈值Q，则不建立映射；所述的每一对中间表示组合的相似度通过该组合中两个中间表示的形式关联度与优先权值来确定；步骤三、通过映射集合W，根据相似文段的寻找方法找出源文档和目标文档的相似文段。