[发明专利]一种基于关键词挖掘新闻的时代特征提取方法

权利要求书

1.一种基于关键词挖掘新闻的时代特征提取方法，其特征是：包括以下步骤：

步骤1：对单篇新闻文章进行关键词的抽取，并进行分词操作；

步骤2：通过TF-IDF算法和聚类系数对分词后的关键词进行赋权；

步骤3：基于TF-IDF权值和聚集系数，进行归一化操作，得到所有特征词的权重；

步骤4：根据单篇新闻文章，筛选所有权值大于0.0001的特征词集合，得到出新闻关键词集合；

步骤5：对新闻关键词进行初步筛选和关键词过滤，并计算关键词的重要程度，并确定每个时期的特征关键词；

步骤6：计算单篇新闻文章的热度值，对关键词关联进行分析，确定关键词的联合度。

2.根据权利要求1所述的一种基于关键词挖掘新闻的时代特征提取方法，其特征是：所述步骤1具体为：针对每一篇单篇新闻文章，使用jieba包作为分词工具，通过搜集新闻专有名词以及人工数据审阅，补充了分词维护词典。

3.根据权利要求2所述的一种基于关键词挖掘新闻的时代特征提取方法，其特征是：所述步骤2具体为：

当某个词或短语在一篇文章中的出现频率高，IDF低，词或者短语对文章具有类别区分能力，TF-IDF权值计算方法如下所示：

TFIDF_ij＝TF_ij*IDF_i

其中，TF_ij表示特征词i在文章j中的出现频率，nij表示特征词i在文章j中的出现次数，∑_kn_kj表示文章j的总词数；IDF_i表示特征词i逆文章频率，|D|表示总文章数量，|D_i|表示包含特征词i的文章数量；TFIDF_ij表示特征词i在文章j中的重要程度。

4.根据权利要求3所述的一种基于关键词挖掘新闻的时代特征提取方法，其特征是：所述步骤3具体为：

聚集系数根据特征词在文章中的空间分布来计算，对文章d进行分词，当特征词在文章d中出现的位置为{p₁，...，p_n，p_end}，n代表特征词出现了n次，p_k，k≠end表示特征词第k次出现的位置，分词后的文章d的第i个词，p_end表示文章的结束位置文章d最后一个字词的位置，聚集系数计算方法通过下式所示：

其中，L_ij表示特征词i在文章j中的平均距离；S_ij表示特征词i在文章j中的距离标准差；C_ij表示特征词i在文章j中的聚集系数，聚集系数越大，特征词相对于文章的重要性越大；

基于计算得到的TF-IDF权值与聚集系数，当文章j有m个特征词，分别对两个指标进行归一化操作：

对归一化后的两个分别赋予权重0.9、0.1，然后求和，得到的数即为特征词i相对于文章j的权重w_ij：