[发明专利]一种用于文本复制检测的同义词扩展方法及装置

摘要

本发明公开了一种用于文本复制检测中的同义词扩展方法及其装置。包括：文本与处理单元，将可疑文本去除停用词并进行词性标注，将动词、名词和形容词作为待处理对象；通过检索单一词汇的同义词，计算笛卡尔积，获取可疑文本中所有词汇搭配的初始扩展集；通过比对初始扩展及和真实语料库，过滤掉其中不可能出现在真实语言环境下的词汇搭配，对集合进行精简，得到最终扩展集；在复制检测时，根据不同的匹配结果，赋予词汇不同权值，以此进行复制检测结果的计算依据。使用本发明实施例的方法或装置可以有效地克服文本复制中的同义词替换问题，且效率较高，对于复制检测的精确率有较大提高。

主权项

一种用于文本复制检测的同义词扩展方法及装置，其特征在于，包括：文本预处理模块，用于过滤待检测文本中的停用词、获取待扩展词汇，并对动词、名词和形容词进行标注；初始扩展集获取模块，针对每一个待扩展词汇，通过语义词典得到对应的初始扩展集；过滤模块，从预处理后的文本中，得到每一个带扩展词汇的上下文关系（bigram），通过计算bigram对应词汇的初始扩展及的交集，获取其所有可能的扩展搭配。并通过文本语料库，对扩展搭配进行过滤，得到最终的扩展集；权值计算模块，对于所得到的最终扩展集，在进行文本复制检测时，根据匹配情况赋予不同权值。