[发明专利]一种基于关键词挖掘新闻的时代特征提取方法

说明书

本发明是一种基于关键词挖掘新闻的时代特征提取方法。本发明对单篇新闻文章进行关键词的抽取，并进行分词操作；通过TF‑IDF算法和聚类系数对分词后的关键词进行赋权；基于TF‑IDF权值和聚集系数，进行归一化操作，得到所有特征词的权重；根据单篇新闻文章，筛选所有权值大于0.0001的特征词集合，得到出新闻关键词集合；对新闻关键词进行初步筛选和关键词过滤，并计算关键词的重要程度，并确定每个时期的特征关键词；计算单篇新闻文章的热度值，对关键词关联进行分析，确定关键词的联合度。

技术领域

本发明涉及新闻文本数据集特征提取技术领域，是一种基于关键词挖掘新闻的时代特征提取方法。

背景技术

在大数据背景下，数据新闻应运而生，网易、新浪、搜狐、腾讯等门户网站纷纷推出了数据新闻板块。但目前为止，大部分数据新闻更类似数字新闻，向大众呈现的更多的是简单的静态图表，仅提供总结归纳后的数据信息，对于隐含在新闻数据背后的信息挖掘不够深入，新闻价值与可读性不够高，故而深度报道的数据新闻较为罕见。与此同时，数据新闻中的数据存在缺乏权威性和可靠性的问题，这是因为部分新闻工作者缺乏对权威数据定以的理解，数据来源把关不严谨，导致做出不准确或不严谨的数据分析或价值判断。

而本项技术则是在新闻行业趋向数字化发展的事实下、在拥有大量真实可靠新闻数据的前提下提出研发构思，并最终研发而成的方法。目前针对数据新闻的分析，大多停留在提取关键词、对关键词做统计分析的阶段上，而本项技术则基于关键词实现了更具深度的数据挖掘，能够获取到新闻数据所蕴含的时代特征。

发明内容

本发明基于所有风险源都要被应急物资储备库有效覆盖的原则，综合考虑环境风险评估和应急物资筛选，建立基于连续-离散型选址理论的环境应急物资储备布局规划模型，该模型适用于现有应急物资储备库不足，需要新建应急物资储备库的情况，，本发明提供了一种基于关键词挖掘新闻的时代特征提取方法，本发明提供了以下技术方案：

一种基于关键词挖掘新闻的时代特征提取方法，包括以下步骤：

步骤1：对单篇新闻文章进行关键词的抽取，并进行分词操作；

步骤2：通过TF-IDF算法和聚类系数对分词后的关键词进行赋权；

步骤3：基于TF-IDF权值和聚集系数，进行归一化操作，得到所有特征词的权重；

步骤4：根据单篇新闻文章，筛选所有权值大于0.0001的特征词集合，得到出新闻关键词集合；

步骤5：对新闻关键词进行初步筛选和关键词过滤，并计算关键词的重要程度，并确定每个时期的特征关键词；

步骤6：计算单篇新闻文章的热度值，对关键词关联进行分析，确定关键词的联合度。

优选地，所述步骤1具体为：针对每一篇单篇新闻文章，使用jieba包作为分词工具，通过搜集新闻专有名词以及人工数据审阅，补充了分词维护词典。

优选地，所述步骤2具体为：

当某个词或短语在一篇文章中的出现频率高，IDF低，词或者短语对文章具有类别区分能力，TF-IDF权值计算方法如下所示：

TFIDF_ij＝TF_ij*IDF_i

其中，TF_ij表示特征词i在文章j中的出现频率，nij表示特征词i在文章j中的出现次数，∑_kn_kj表示文章j的总词数；IDF_i表示特征词i逆文章频率，|D|表示总文章数量，|D_i|表示包含特征词i的文章数量；TFIDF_ij表示特征词i在文章j中的重要程度。