[发明专利]一种基于TF-IDF方法优化的新闻关键词提取方法及系统

说明书

本发明公开了一种基于TF‑IDF方法优化的新闻关键词提取方法及系统，包括新闻采集模块、新闻分类模块、用户管理模块。采用TF‑IDF‑MP算法对每篇新闻进行分类，并将分类结果存入对应类别中，TF‑IDF‑MP算法结合特征词在语料库中词频的分布情况和在特征词文档中的位置信息，对那些在文档中出现高于特征词词频均值的特征词和更能体现文档主题的文档第一段以及最后一段的名词赋予较高的权重，而对那些低于特征词词频均值的特征词降低权重，通过最终权重分评分，确定新闻关键词以实现对新闻进行分类。

技术领域

本发明涉及新闻关键词提取技术领域，尤其涉及一种基于TF-IDF方法优化的新闻关键词提取方法及系统。

背景技术

随着互联网的飞速发展，各种文本信息迅速扩张，面对如此海量的信息，人们需要花费大量时间和精力对其进行挑选和甄别。关键词是一篇文章核心内容的体现和主题信息的浓缩，用户可以通过阅读关键词快速明确文章主旨，从海量的文章中获取有用信息。关键词提取是信息处理领域的基础与核心技术，它在信息检索、话题跟踪、自动摘要、文本聚类、文本分类等领域都有着广泛的应用。

TF-IDF（Term Frequency–Inverse Document Frequency，词频-逆文档频率）是一种用于信息检索与文本挖掘的常用加权技术。TF-IDF是一种统计方法，用以评估某个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。它的主要思想是：如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

TF-IDF采用文本逆频率IDF对TF值加权取权值大的作为关键词，但IDF的简单结构并不能有效地反映单词的重要程度和特征词的分布情况，使其无法很好地完成对权值调整的功能，所以TF-IDF算法的精度并不是很高，尤其是当文本集已经分类的情况下。TF-IDF算法主要有以下几个缺点：

缺陷/有哪些问题：

1、在文本分类过程中，根据TF-IDF算法，往往一些生僻词的IDF(逆文档频率)会比较高，因此这些生僻词常会被误认为是文档关键词；

2、TF-IDF算法容易受不平衡数据集影响，如某一类别的文档偏多，会导致IDF低估；

3、TF-IDF算法没有考虑不同类别之间与同类别之间特征词的分布偏差；

4、TF-IDF算法在计算特征词权重时没有考虑特征词的位置信息。

发明内容

本申请提供了一种基于TF-IDF方法优化的新闻关键词提取方法及系统。

一种基于TF-IDF方法优化的新闻关键词提取系统，包括新闻采集模块、新闻分类模块、用户管理模块；新闻采集模块，用于数据获取和数据的存储，主要是在网络上爬取数据，然后存入数据库中；新闻分类模块，用于新闻数据读取、新闻类目确认以及分类结果存储，通过编写代码从数据库中读取新闻，获取新闻的类别，采用TF-IDF-MP算法对每篇新闻进行分类，并将分类结果存入对应类别中；TF-IDF-MP算法结合特征词在语料库中词频的分布情况和在特征词文档中的位置信息，通过位置信息的权重赋值法，对那些在文档中出现高于特征词词频均值的特征词和更能体现文档主题的文档第一段以及最后一段的名词赋予较高的权重，而对那些低于特征词词频均值的特征词降低权重，根据最终权重评分，确定新闻关键词以实现对新闻进行分类；用户管理模块，用于用户注册、用户登录以及用户信息修改。

优选的，根据特征词在单个文档中出现的次数与该特征词在语料库所有文档中出现的平均次数进行比较，若某个特征词在单个文档中出现的次数大于出现在语料库文档的平均次数，则说明该特征词对这个文档的重要程度要比其他文档更高，应该赋予更大权重，反之赋予较小权重；然后采用均值化词频修改后的Sigmoid函数对两者的差值进行处理。