[发明专利]一种面向科技大数据的项目查重方法

说明书

本发明是一种面向科技大数据的项目查重方法，该方法根据历年的科技项目立项信息构建领域本体，然后对新申报的项目信息跟已有的项目信息进行相似度比较，进行中文分词、去停用词等一系列操作后，提取出关键特征词汇，对每个文本的关键特征词分别构建最长公共序列并计算特征词的词序因子，将词序因子引入领域本体的概念相似度计算，可得出每个特征词的相似度值进而进行相似度评价从而得出查重结论，本发明方法在现有的中文文本词序相似度计算方法上结合了领域本体处理即语义相似度和时序因子相结合，相似度计算效果将更佳。

技术领域

本发明涉及科技项目申请管理方法领域，更具体地，涉及一种面向科技大数据的项目查重方法。

背景技术

科技大数据是指在科技活动中产生的一系列数据，包括科技项目申报数据、科技资源描述数据、科技创新数据等。科技大数据具有数据类型非结构化、数据量庞大等大数据特征，数据来源往往是通过多年积累的跨区域数据，科技项目信息包括申报文本信息、立项合同信息、验收文档信息等，其具有跨领域、强逻辑的特征，面对庞大的数据资源，如果采用传统的中文文本相似度计算方法，将无法提取出贴切的各领域的项目信息，也无法保障进度。同时，科技项目文本信息具有很强的逻辑性，特别是关键技术和研究路线的表达，词与词之间的顺序不同往往代表的研究方法完全不同，所以面对科技项目查重，如果单纯地采用传统的基于统计或者语义的方法将无法达到很好的相似度计算效果。因此，无论是单纯采用专家评估方式，或者采用现阶段的项目查重模型，都无法满足科技大数据的项目查重要求。

发明内容

本发明提供一种面向科技大数据的项目查重方法，该方法基于领域本体和词序特征，通过提取科技项目立项信息数据的特征词汇后得出每个特征词的词序因子引入领域本体中概念相似度计算，根据词序因子和各特征词的相似度值进行统计后将得出文本相似值，从而达到项目查重的目的。

为了达到上述技术效果，本发明的技术方案如下：

一种面向科技大数据的项目查重方法，包括以下步骤：

S1：利用历年的科技项目立项信息数据构建领域本体；

S2：对历年的科技项目立项信息数据进行中文分词后再进行去停用操作，提取出历年的科技项目立项信息数据的特征词，对每一年的科技项目立项信息数据的特征词构建最长公共序列来计算其特征词的词序因子；

S3：对待查重的新申请项目进行中文分词后再进行去停用操作，提取出该项目立项信息数据的特征词，对该项目立项信息数据的特征词构建最长公共序列来计算其特征词的词序因子；

S4：将待查重的新申请项目的词序因子和每一年的科技项目立项信息数据的词序因子引入领域本体中概念相似度计算得出查重结论。

本发明中，根据历年的科技项目立项信息构建领域本体，然后对新申报的项目信息跟已有的项目信息进行相似度比较，进行中文分词、去停用词等一系列操作后，提取出关键特征词汇，对每个文本的关键特征词分别构建最长公共序列并计算特征词的词序因子，将词序因子引入领域本体的概念相似度计算，可得出每个特征词的相似度值进而进行相似度评价从而得出查重结论。

进一步地，所述步骤S2的具体过程如下：

S21：将历年的科技项目立项信息数据组成数据源C={C1,C2……Ci…}，读取其中任一数据文本Ci，对数据文本Ci进行中文分词，将得到的分词去停用词，得到向量特征词A=(A1,A2,……,An)；

S22：用领域本体对向量A进行词语消歧和同义替换实现文本降维，得到降维后的特征词向量A’=(A’1,A’2,……,A’m) ，其中m<n；

S23：通过隐马尔可夫模型，计算特征词向量A’的词序因子序列i=(i1,i2,……, jm)；

S24：重复步骤S22-S23得到每一年的科技项目立项信息数据的词序因子序列。