[发明专利]事件信息关键词提取、监控方法及系统及存储和处理装置

说明书

本发明属于计算机科学技术领域，尤其是涉及一种事件信息关键词提取、监控方法及系统及存储和处理装置，旨在为了解决解决无监督方法提取关键词效果不稳定的问题。本发明提取方法对于获取的待监控的事件信息，基于多种关键词提取技术提取并优选一组相关性很强的关键词作为第一关键词组，而后基于关键词在时域的发展演化选出最新的热点词汇作为第二关键词组，再后对同一时间段内的同一事件的不同报道进行聚类，提取各聚类的关键词合并后作为第三关键字组，最后合并三个关键词组并选定最终的关键词组合。本发明提高了系统的稳定性，同时兼顾了时域及同一事件不同侧面的发展方向。

技术领域

本发明属于本发明实施例涉及计算机科学技术领域，尤其是涉及一种事件信息关键词提取、监控方法及系统及存储和处理装置。

背景技术

随着互联网官方媒体、微信公众号自媒体、微博、贴吧等新型热点事件发布平台的广泛使用，利用这些平台上的文章监测热点事件的发展方向具有重要的意义，尤其是热点事件的关键词漂移变化更能体现事件的发展趋势。

早期工作主要是利用词频-逆文档频率(TFIDF)提取关键词；1999年本领域人员相继尝试利用有监督的方法提取关键词；2004年开始提出基于图的TextRank方法，该关键词提取方法是目前最有效，被广泛研究的一类无监督的提取方法，该方法考虑了文档中词和词的共现关系等更多的其他特征信息，效果比较好，通常优于其他的无监督方法。2009年提出的Community-Cluster方法只从最重要的一个聚类主题中选取关键词。

通过对以上方法的分析，有监督的方法需要标注数据以及大量的训练数据集，而且很有可能在训练数据集上过拟合，因此实际使用机会很小，而无监督方法单个存在时性能又不稳定，很难保证完成相关的任务。

发明内容

为了解决现有技术中的上述问题，即为了解决无监督方法提取关键词效果不稳定的问题，本发明的第一方面，提出了一种事件信息关键词提取方法，该方法包括以下步骤：

步骤S10，根据事件关键词组合，按照设定的时间间隔抓取待监控事件文本信息；

步骤S20，基于当前时段抓取的所述待监控事件文本信息，分别采用N种关键词提取方法，分别进行候选关键词提取，合并后作为第一候选关键词集合，并获取各候选关键词热度值；基于热度值、候选关键词互信息值选取第一关键词组；

步骤S30，基于第一候选关键词集合，依据候选关键词相对于上一时段的热度变化程度，选取第二关键词组；

步骤S40，对当前时段所抓取的待监控事件文本信息进行聚类，对每一个聚类分别采用步骤S20的方法获取一个候选关键词组合，将各聚类对应的候选关键词组进行合并作为第三关键词组；

步骤S50，将所述第一关键词组、所述第二关键词组、所述第三关键词组合并后，基于热度值、候选关键词互信息值选取一个关键词组更新所述事件关键词组合。

在一些优选实施方式中，步骤S10所抓取的待监控事件文本信息包括：标题、摘要、正文中的一个或多个。

在一些优选实施方式中，步骤S20中的关键词提取方法包括TFIDF、TextRank、ExpandRank中的一个或多个。

在一些优选实施方式中，步骤S20“基于热度值、候选关键词互信息值选取第一关键词组”，其方法为：

从第一候选关键词集合中选取热度值最大的两个候选关键词，基于互信息值分别选取与这两个候选关键词相关性最大的M个候选关键词，得到两个候选关键词组，汇总后作为第一关键词组。

在一些优选实施方式中，步骤S20-步骤S40中，对关键词的合并过程中，相同关键词的热度值相加作为该关键词合并后的热度值。

在一些优选实施方式中，步骤S30“候选关键词相对于上一时段的热度变化程度”，其计算方法为：