[发明专利]一种跨语种的文档相似性检测方法

权利要求书

1.一种跨语种的文档相似性检测方法，其特征在于，所述检测方法包括以下步骤：

步骤一、将要比较的源文档和目标文档分别转换为基于同一种语言单词的中间文档，所述中间文档都是由中间表示集合组成，所述的中间表示集合由中间表示集合形成，所述的中间表示为文档分词得到的单词或词组所对应的转换成的语言的单词或词组；

步骤二、寻找两个中间文档之间相似的中间表示集合，建立映射集合W，具体过程如下：

首先，枚举两个中间文档所有中间表示集合的组合(S_A，S_B)，其中，S_A为源文档转换的中间文档中的中间表示集合，S_B为目标文档转换的中间文档中的中间表示集合；

然后，针对每个组合(S_A，S_B)，枚举该组合中两个中间表示集合中的中间表示的组合(a_i，b_j)，其中，a_i为S_A中的第i个中间表示，b_j为S_B中的第j个中间表示；

最后，确定每一对中间表示组合(a_i，b_j)的相似度，在相似度超过所设定的阈值Q之后，建立两个中间表示集合S_A与S_B的映射，并将建立的映射加入到映射集合W中，将组合(S_A，S_B)中的中间表示组合的相似度的最大值作为S_A与S_B所建立的映射的相似度，若相似度未超过阈值Q，则不建立映射；所述的每一对中间表示组合的相似度通过该组合中两个中间表示的形式关联度与优先权值来确定；

步骤三、通过映射集合W，根据相似文段的寻找方法找出源文档和目标文档的相似文段。

2.根据权利要求1所述的一种跨语种的文档相似性检测方法，其特征在于，步骤一中所述的转换的具体方法为：首先将源文档与目标文档分别进行分词；然后将划分得到的每个单词或词组转换为一个中间表示集合；最后为每个中间表示集合建立索引，每个中间表示集合占据一个索引，索引的序号与该索引对应的源单词或词组在源文档或目标文档中的位置序号一致。

3.根据权利要求1所述的一种跨语种的文档相似性检测方法，其特征在于，步骤二中所述的阈值Q设定为0.5～0.9。

4.根据权利要求1所述的一种跨语种的文档相似性检测方法，其特征在于，步骤二中所述的中间表示组合的相似度的确定方法具体为：

(1)确定形式关联度：若两个中间表示的形式完全一致，则该中间表示组合的相似度为1；若两个中间表示为同一词衍生而来，则该中间表示组合的相似度小于1大于0；若两个中间表示的形式不一样，且不是由同一词衍生而来，则该中间表示组合的相似度为0；

(2)确定两个中间表示的优先权值，所述的优先权值与该词在语言环境中的词频成反比，该词越常用，优先权值越低，该词越罕见，优先权值越高；

(3)将(1)中得到的形式关联度与(2)中得到的两个优先权值中的较大值相乘，得到的数值设置为该中间表示组合的相似度。