[发明专利]一种跨语种的文档相似性检测方法

说明书

技术领域

本发明涉及文档相似性比较技术领域，具体是一种跨语种的文档相似性检测方法。

背景技术

论文抄袭现象是一直困扰着学术界的一大问题，近年来，同语种的文档相似检测技术有着不少的研究，也有很多可用的产品。然而跨语种的文档相似检测研究基本上还处于一个空白的状态，与此同时，伴随的是跨语种的论文抄袭现象日益严重。因此研究跨语种情况下的文档相似检测技术，是一个很有价值和意义的课题。

目前，跨语种的文档相似检测难点主要体现在两个方面：

一、语言间的语法结构区别；

譬如以下一个英文句子和对应的中文译句：

·This page allows customers to subscribe.

·顾客可以在该页面进行预订。

可以看到，同样的一句话，通过中文和英文表达出来，整个语法结构有很大的区别，包括主谓宾位置和时态语态等，都难以对应。

二、语言间的一词多义；

以下是中文词对应的英文表述和英文词对应的中文意思的一个示例：

·Subscribe预订、订阅、捐款、认购、赞成、签署

·预订subscribe，book，order

从示例中可以看出，同样由于这种表述的多样性和词汇的多义性，会造成在跨语种文档相似检测时的障碍。

由于存在着上述技术难点，所以传统的文档相似检测方法对跨语种情况下的文档相似检测并不适用。

发明内容

本发明针对目前传统文档相似性检测方法不适用跨语种情况的情况，提供一种跨语种的文档相似性检测方法，用以较好地解决跨语种文档相似检测的难点，得到较好的检测效果。

本发明的一种跨语种的文档相似性检测方法，具体包括以下步骤：

步骤一、将要比较的源文档和目标文档分别转换为基于同一种语言单词的中间文档；

步骤二、寻找两个中间文档之间的相似的中间表示集合Slot，建立映射集合W；

步骤三、通过映射集合W，根据相似文段的寻找方法找出源文档和目标文档的相似文段。

所述的步骤一具体过程是：首先将源文档与目标文档分别进行分词；然后将划分得到的每个单词或词组转换为一个中间表示集合，所述的中间表示为该单词或词组所对应的转换成的语言的单词或词组；最后为每个中间表示集合建立索引，每个中间表示集合占据一个索引，索引的序号与该索引对应的源单词或词组在源文档或目标文档中的位置序号一致。

所述的步骤二的具体方法是：

首先，枚举两个中间文档所有中间表示集合的组合(S_A，S_B)，其中，S_A为源文档转换的中间文档中的中间表示集合，S_B为目标文档转换的中间文档中的中间表示集合；

然后，针对每个组合(S_A，S_B)，枚举该组合中两个中间表示集合中的中间表示的组合(a_i，b_j)，其中，a_i为S_A中的第i个中间表示，b_j为S_B中的第j个中间表示；

最后，确定每一对中间表示组合(a_i，b_j)的相似度，在相似度超过所设定的阈值Q之后，建立两个中间表示集合S_A与S_B的映射，并将建立的映射加入到映射集合中，将组合(S_A，S_B)中的中间表示组合的相似度的最大值作为S_A与S_B的相似度，若相似度未超过阈值Q，则不建立映射；所述的每一对中间表示组合的相似度通过该组合中两个中间表示的形式关联度与优先权值来确定。

本发明的优点与积极效果在于：(1)通过将对比的文档都转换为基于同一种语言的中间文档，使得支持任意一种新语言与其他语言的对比，只需要实现将其转换到中间语言的过程即可；(2)通过将文章的每个词语扩展为词语集合，扩充了中间语言的文档可以携带的语义信息，一定程度上解决了语言中一词多义的问题；(3)通过中间语言的词语之间跨时态、跨语态的计算相似度，一定程度上解决了语言中词语的变化和变形问题；(4)通过先枚举映射，后从映射出发进行跳跃的方式，将查找相似文段的时间控制在可以接受的程度之中。

附图说明