[发明专利]基于自信息的跨学科领域共现主题发现方法

说明书

本发明公开了一种基于自信息的跨学科领域共现主题发现方法，该方法具体步骤如下：(1)、数据收集：收集高引文献作者关于其科研成功的自评文档集；(2)、数据处理：提取和数字化自评中的正文部分；(3)、抽取候选低频主题词；(4)、计算低频主题评价系数；(5)、设定低频主题词评价系数的阈值；(6)、过滤低频主题词。该方法为主题发现的相关研究提供了新的思路。不仅高频词与主题有紧密关系，低频词也是一种可以利用的资源。该方法可以应用到评价类文档集的主题发现，例如从自传题材中提取人物的共同经历、从股票评论中提取评价股票的共同指标，从而实现不同学科领域文档集中的共现主题提取。

技术领域

本发明涉及一种基于自信息的跨学科领域共现主题发现方法，属于文本挖掘(Text Mining)领域。

背景技术

近年来，主题发现作为文本挖掘领域的热门研究方向，受到越来越多的研究者的重视。主题发现可以从海量的非结构化文本中挖掘到关键的主题信息，可以更加高效的理解文本的主要内容，获取文本的深层语义信息。同时，主题发现还可以对主题进行更深层次的分析，发现文本中更多的潜在知识。

现有的主题发现方法主要有主题模型以及词频统计的两种。主题模型是一种概率生成模型，在主题模型中主题作为隐变量，文档以及词项作为观测值。通过对模型的训练可以得到词项概率分布、以及主题概率分布。经过训练后的模型就可以将词项空间中的文档变换到主题空间，从而实现文档处理的降维，最终得到具有语义信息的主题集合。常用的主题模型主要有LSI[1,2]、pLSI[3,4]、LDA[5]等。词频统计的方法则是通过对词在文档中以及文档集中的频率的计算来进行主题抽取，常用的方法有TF_IDF(term frequency–inverse document frequency)、互信息(Mutual Information)、信息增益、x2统计量等。

上述的主题发现方法具有很强的理论基础，在众多主题发现任务中均取得较好的效果。然而这些方法对于跨学科领域中的共现主题信息无法很好的抽取，因为对于评价类跨学科领域的文本，有时主题可能是由低频主题词而非高频词体现。现有的主题发现方法大多倾向于获取高频词，因而无法用来抽取具有低频特征的共现主题词，即低频主题词。此外，跨学科领域的共现主题发现研究具有重要的研究意义，因为通过这些共现主题可以从更宏观的角度来分析文本集，并且获得更多有意义的主题信息的规律。

发明内容

本发明的目的是针对现有技术存在的不足，提供一种基于自信息的跨学科领域共现主题发现方法，为主题发现的相关研究提供新思路，可应用到评价类文档集的主题发现，从而实现不同学科领域文档集中得共现主题提取。

为达到上述目的，本发明采用下述技术方案：一种基于自信息的跨学科领域共现主题发现方法，其特征在于操作步骤包括：

(1)、数据收集：收集高引文献作者关于其科研成功的自评文档集；

(2)、数据处理：提取和数字化自评中的正文部分；

(3)、抽取候选低频主题词；

(4)、计算低频主题评价系数；

(5)、设定低频主题词评价系数的阈值；

(6)、过滤低频主题词。

上述步骤(1)所述为数据收集。从引文数据库SCI(Science Citation Index)的创始人加菲尔德所征集的高引经典文献的作者关于其科研研究工作取得成功的自评中收集到3790篇高引经典文献的作者自评文档集。

上述步骤(2)所述为数据处理。对文档集中自评的正文部分进行了提取和数字化。此外，还提取了3类信息，自评的正文内容、自评的相关信息以及原高引文献的相关信息。

本发明定义了低频主题词是能够充分体现主题信息，均匀出现且词频较低的非专业词。低频主题词的词频应当符合如下公式: