[发明专利]一种动态知识热点演化及趋势分析方法

说明书

本发明公开了一种动态知识热点演化及趋势分析方法，所述方法包括通过时间变化对给定文献中的潜在主题进行动态建模，捕捉主题随时间的动态演变。通过动态建模得出所有文档的主题偏好，供用户通过主题下的热点单词定位文献信息。本发明所提供的动态知识热点演化及趋势分析方法以曲线图的形式直观呈现主题中单词的变化趋势，帮助用户了解或预测主题词的发展趋势，以及帮助用户通过主题下的热点词定位到与其相关的文献信息，方便用户对目标学科领域进行快速评估和了解。

技术领域

本发明涉及自然语言处理和信息提取领域，尤其涉及一种动态知识热点演化及趋势分析方法。

背景技术

随着信息技术不断发展，大量的信息资源不断涌现，从科技文献、书籍到新闻、博客、网页等。面对海量信息，为了有效从爆炸式增长的电子文档中提取有用信息，亟需新的技术和工具帮助用户分析这些海量数据集，以帮助用户对目标学科领域进行快速评估和了解。

大量的语料库(如科技文献)文本都是具有时间属性的，一些特定的文本信息出现在某个特定的时间段中。文本可视化方法通过分析文本资源，提取关键信息，并将其以图形化方式展现出来，是信息可视化的重要分支之一。

目前，针对具有时间属性的文本的主题动态建模分析未能通过可视化方式有效的展示热点单词在时间序列上的动态演变，也不能通过热点单词查找到对应的文献元数据信息。因此，对用户收集的文献信息，需要一种能辅助用户快速了解目标领域，并根据热点单词精确查找对应文献元数据的方法。

发明内容

本发明的目的在于提供一种动态知识热点演化及趋势分析方法。该方法通过时间变化对文本进行动态建模，捕捉主题随时间的动态演变，分析不同主题中的单词随时间的变化趋势，或预测和提取主题的潜在发展趋势，并能通过主题下的热点词定位到与其相关的文献信息。

本发明的目的通过以下的技术方案来实现：

本发明包括以下步骤：

S10用户根据需求收集文献元数据，并输出或形成以制表符分隔且编码格式为UTF-8的包含标题、摘要等字段的记录文件；

S20对导出的文献元数据进行预处理工作；

S30选取预处理后文献元数据的摘要和出版年份，进行潜在主题的动态建模分析及文献主题的偏好计算得到热点单词；

S40对所述热点单词的主题聚类进行可视化，显示与每个主题每个年份最相关的热点单词；

S50对主题中热点单词的变化趋势进行可视化：用户选取主题中感兴趣的单词，通过曲线图显示该单词在时间序列上的变化趋势；

进一步地，收集文献元数据主要包括标题、摘要、出版年份等字段，文件存储格式为制表符分隔、UTF-8编码的csv或txt纯文本类型，数据集可以从Web of Science核心数据库导出对应的格式，或者为符合格式要求的其他自定义数据集。

进一步地，所述预处理工作包括删除无效元数据、完成词干化、去停用词、清除无意义字符和识别短语步骤。

进一步地，所述主题建模分析采用变分推断来近似后验分布。该方法基于如下假设：

1)数据按时间片划分；

2)与时间片t相关联的主题从与时间片t-1相关联的主题演变而来；

3)每个时间片使用K分量主题模型对文档建模；

进一步地，所述热点单词的主题聚类进行可视化是对模型分析结果中热点单词的显示，按照主题分类显示各个时间片(如年份)的热点单词，单词按照模型分析结果的概率大小顺序显示。

进一步地，所述可视化方法具体步骤如下：

1)获取用户选择的热点单词；