[发明专利]基于新闻关键词的文本向量加权的方法及系统

说明书

本发明公开了基于新闻关键词的文本向量加权的方法及系统，对新闻内容通过TextRank算法自动提取摘要，针对提取的摘要以及新闻原文提取几个关键词；计算每篇新闻文档关键词的TD‑IDF值，使用关键词的TD‑IDF值构建一个五维的向量，作为该新闻文档的空间向量；统计每篇新闻的阅读量，对所有样本新闻的关键词做并集，并计算每个关键词的所有阅读量；将关键词的阅读量作为权值，对文档的空间向量进行加权。本发明有益效果：将新闻的阅读量作为权值，改进TDIDF算法的文本向量加权方法，充分考虑了关键词在文本中的重要程度，提高了文本空间向量的信息量，从而提高后续相关算法的精确度。

技术领域

本发明涉及人工智能领域的自然语言处理方法，具体来说，涉及一种基于新闻关键词的文本向量加权的方法及系统。

背景技术

随着计算机的普及和网络的飞速发展,互联网上各种新闻的数量快速积累，如何快速查找相关信息变得非常重要。文本相似度的计算作为其他文本信息处理的基础和关键,其计算准确率和效率直接影响其他文本信息处理的结果，而文本向量加权是文本相速度计算的重要步骤。文本相似度是表示两个或多个文本之间匹配程度的一个度量参数,相似度大,说明文本相似程度高,反之文本相似度低。对于舆情分析、文本聚类、信息检索、问答系统、网页去重、文本分类等众多领域,文本相似度的有效计算问题是其进行信息处理的关键。

在文本挖掘的研究中,学者们运用了很多方法,其中TDIDF是文档特征权重计算的最常用算法之一,但传统的TDIDF单纯考虑特征词频率以及包含特征词的文本数量,并没有很好的考虑特征词在文本中的重要程度以及类内分布均匀情况和类间分布离散的问题,可能会导致文本分类结果的偏差。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于新闻关键词的文本向量加权的方法，能够解决了传统的TDIDF单纯考虑特征词频率以及包含特征词的文本数量,并没有很好的考虑特征词在文本中的重要程度以及类内分布均匀情况和类间分布离散的问题，提高了文本空间向量的信息量，从而提高后续算法的精确度。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于新闻关键词的文本向量加权的方法，具体包括以下步骤：

S1对新闻内容通过TextRank算法自动提取摘要，针对提取的摘要以及新闻原文提取几个关键词，并将提取的几个关键词做并集；

S2计算每篇新闻文档关键词的TD-IDF值，使用关键词的TD-IDF值构建一个五维的向量，作为该新闻文档的空间向量；

S3统计每篇新闻的阅读量，对所有样本新闻的关键词做并集，并计算每个关键词的所有阅读量；

S4将关键词的阅读量作为权值，对文档的空间向量进行加权。

进一步地，所述步骤1中所述步骤S1中TextRank算法具体步骤如下：

S11按照常规方法对新闻文本进行分词并加载文本，对文本数据进行分词并进行词性标注；

S12对分词后的结果进行去停用词操作，得到处理后的文本数据；

S13计算分词处理后的文本数据的TextRank算法得分；

S14通过TextRank算法获取关键词，采用窗口大小为5来计算得分，关键词和关键词之间的权重为1；

S15通过TextRank算法获取摘要时，全部句子是相邻的，不提取窗口，关键词与关键词之间的权重采用BM25相似度算法获得；

S16通过TextRank算法获取得分后，进行降序排序。

进一步地，步骤S13中，计算公式如下：