[发明专利]一种基于特征向量空间的论文查重方法

说明书

本发明涉及一种基于特征向量空间的论文查重方法，构建带查重文档的空间向量模型；将带查重文档上传并保存到服务器，提取该文档的一些基础信息并构建其空间向量模型，进行相似度衡量：两篇论文之间的相似度就能够使用它们对应的特征向量在空间中的位置关系衡量。采用余弦法在后台启动一个线程专门计算该导入的文档与文档库之间的相似分数。当相似度的大于阈值时查重结果显示为：查重不合格；当相似度的小于或等于阈值时查重结果显示为：查重合格。本发明具有如下优点：运用了统计学，语言学，信息理论等专业知识，用特征向量来表示文本中心思想；能够把非结构化的文本转换成计算机可识别的形式化向量，有效地提升文档查重地准确率和效率。

技术领域

本发明涉及基于特征向量空间的论文查重方法技术领域，具体是指一种一种基于特征向量空间的论文查重方法。

背景技术

院校学生或科研工作者在自身研究的技术方向上取得一定技术成果时，需要进行论文的发表。而在论文发表之前，需要对论文的重复率进行反复检测，以避免其中大量篇幅与已公开文献重复，从而影响论文本身的价值。随着互联网的发展与普及，大家能够更加方便地通过网络来获取信息。为了避免抄袭、剿窃他人研究成果。论文相似度检测技术己经取得了巨大发展，主要使用数字指纹和字符串比对等技术。科研工作者在需要发表论文或者具体专业的学生用户在毕业论文撰写的时候，都要对论文进行重复率检测，以避免文中大量篇幅与其他人重复，造成较为恶劣的影响。市面上的查重软件一般用于高校对于硕士和博士论文采用的检测系统或是用户自己提前进行自查检测，目前查重平台主要有百度学术论文助手、知网、万方、维普等等。然而由于汉语自身的复杂性和进化性，目前我国论文相似度检测算法一般都存在着识别不准确，效率不高等缺陷。本发明提出了一种论文查重方法，基于中文论文中不同精确度的特征项，计算每个特征项权重，构建论文对应的特征向量，并与库中论文进行比较得出其相似度，进而达到查重的目的。

发明内容

本发明要解决的技术问题是，提供一种论文查重方法，基于中文论文中不同精确度的特征项，构建论文对应的特征向量，并与库中论文进行比较得出其相似度，进而达到查重的目的。

为解决上述技术问题，本发明提供的技术方案为：一种基于特征向量空间的论文查重方法，构建带查重文档的空间向量模型；将带查重文档上传并保存到服务器，提取该文档的一些基础信息并构建其空间向量模型，假设查重文档X中一共有N个相互独立的特征项{T_n|n＝1,2,...,N}所述特征项可以维词、短语、句子，视情况而定；{ω_n|n＝1,2,...,N}表示N个特征项的权重；则论文X的特征向量可以表示为X＝{ω_nT_n|n＝1,2,...,N}，基于固定的特征项库，则特征向量可简化为X＝[ω₁ω₂...ω_N]；包含M文档集合XS中的文档均可表示为空间向量模型；

步骤一：确定特征项选择，文本特征项选择需要考虑两方面内容，一是它能否彻底、全面地表达论文，二是它能否体现论文特殊性，中文论文主要由字、词、短语、句子组成，它们都可以作为论文特征项，根据汉语基本特点，字、词、短语、句子层次逐渐增高，层次越高，表达的语义、关系、结构也越复杂，作为文本特征项，其分析成本也越大，然而精度会逐渐变小，中文论文中词语使用最广泛，出现频率最高，且有规律可循，所以选择词语作为论文特征项；

步骤二：计算权重，采用反文档频率算法，每个特征项权重由TF权重和IDF权重两个部分构成，其中，k为特征项T_n在文档X中的出现频次，L为文档X中的特征项总数，其中，h包含了特征项T_n的论文数目，δ为经验常数，取0.01，则特征项T_n的权重ω_n为ω_n＝TF_n×IDF_n。