[发明专利]一种基于指纹融合的跨语言剽窃检测方法

说明书

本发明提供的是一种基于指纹融合的跨语言剽窃检测方法。将需要进行剽窃检测的中英文文本集，通过自然语言处理提取其名词序列，利用WordNet的名词树形结构，通过中间指纹编码算法将名词序列编码成中间指纹；然后基于中间指纹，利用语义密度对指纹编码进行语义消歧；通过指纹选取策略提取出能够代表当前片段语义的中英文指纹，运用Dice系数对指纹进行相似度计算，利用计算结果根据阈值选取出潜在剽窃片段；然后按照SinWin算法计算句子之间的相似度，通过阈值选取出剽窃句子，最后通过剽窃片段合并形成最后的剽窃检测结果。本发明在跨语言相似检索阶段跨越了语言的障碍，对于较长的段落来说是合适和高效的。

技术领域

本发明涉及的是一种跨语言剽窃检测方法。

背景技术

剽窃检测是判断一个文档的内容、观点和思想是否抄袭、剽窃或复制于其他文档，一般包括完全抄袭、同义词替换、修改剽窃、翻译剽窃、观点剽窃等等。外部剽窃检测评估根据一个或多个源文件，内部剽窃检测即没有源文件，通过写作风格变化来检测，而跨语言剽窃检测必须考虑到语言的不同。

1.外部剽窃检测

外部剽窃检测是给定一篇可疑文本，从源文档集合里面检索出与可疑文本相似度大于一定阈值的文档。外部剽窃检测的一般的系统流程如下：

输入：查询文档d_q，文档集D；

输出：可疑章节对(s_q,s_x)，s_q属于d_q，s_x属于D中的某篇文档；

(1)经过检索模型检索出D中可能包含剽窃源头的文档，构成潜在剽窃文档集；

(2)将d_q和D_x中的文档分割成章节(或片段)，使用某比较方法将这些章节(s_q,s_x)成对的基于特征的比较；

(3)通过基于知识的后处理过程，将比较结果即可疑章节对呈现给用户。

2.内部剽窃检测

内部剽窃检测是通过分析文档作者写作风格上的变化来识别潜在的剽窃行为。它与原著归属的过程类似。原著认证的目的是验证文档是否是一个特定的作者所写，原著归属的目的是找出某篇文档的作者，三者的目的是不同的。内部剽窃检测的一般的系统流程如下：

输入：查询文档d_q；

输出：可疑章节s_q；

(1)将文档d_q分割成更小的片段，例如，章节、段落或者是句子；

(2)提取片段的各个特征；

(3)利用基于特征的度量和量化函数来分析各个片段在风格特征上的不同，如果片段有与文档余下部分风格不一致的部分，它将被标记为可能剽窃的部分。

3.跨语言剽窃检测

单语言剽窃检测是指在同种语言环境下进行剽窃检测，而跨语言剽窃检测是指在不同语言的环境下进行剽窃检测。跨语言剽窃检测的一般流程如下：

输入：查询文档d_q(用语言l_q写的)，文档集D；

输出：可疑章节对(s_q,s_x)；

(1)经过跨语言检索模型检索出D中可能包含剽窃源头的文档，构成潜在剽窃文档集D_x(如果d_q已经用机器翻译技术翻译过了，D_x也可以利用某些单语言信息检索模型得到)；