[发明专利]基于新闻关键词的文本向量加权的方法及系统

权利要求书

1.一种基于新闻关键词的文本向量加权的方法，其特征在于，具体包括以下步骤：

S1对新闻内容通过TextRank算法自动提取摘要，针对提取的摘要以及新闻原文提取几个关键词，并将提取的所述几个关键词做并集；所述TextRank算法具体步骤如下：

S11按照常规方法对新闻文本进行分词并加载文本，对文本数据进行分词并进行词性标注；

S12对分词后的结果进行去停用词操作，得到处理后的文本数据；

S13计算分词处理后的文本数据的TextRank算法得分；

S14通过TextRank算法获取关键词，采用窗口大小为5来计算得分，关键词和关键词之间的权重为1；

S15通过TextRank算法获取摘要时，全部句子是相邻的，不提取窗口，关键词与关键词之间的权重采用BM25相似度算法获得；

S16通过TextRank算法获取得分后，进行降序排序；

S2计算每篇新闻文档关键词的TD-IDF值，使用关键词的TD-IDF值构建一个五维的向量，作为该新闻文档的空间向量；

S3统计每篇新闻的阅读量，对所有样本新闻的关键词做并集，并计算每个关键词的所有阅读量；

S4将关键词的阅读量作为权值，对文档的空间向量进行加权。

2.根据权利要求1所述的基于新闻关键词的文本向量加权的方法，其特征在于，所述步骤S13中，计算公式如下：

其中，d为阻尼系数，其取值在0-1之间，V_i表示文本数据中第i个词，W_ij表示文本数据中第i个词和第j个词之间的权重，In(V_i)表示文本数据中以V_i为终点的入边集合，Out(V_j)表示文本中以V_j起点的出边集合。

3.根据权利要求1所述的基于新闻关键词的文本向量加权的方法，其特征在于，步骤S15中，BM25算法计算公式如下：

其中，Q表示文本数据中的句子，q_i表示Q进行分词后的结果列表中的词；d表示处理的文档；W_i表示q_i的权重(一般使用TF-IDF值来作为权重)；R(q_i，d)表示q_i与文档d的相关性得分，其中，计算方式如下：

其中，k，b为调节因子，一般按照经验设置，一般为k＝2，b＝0.75，f_i为q_i在文档中d中出现的频率，dl为文档的长度，avgd1为文本的平均长度。

4.根据权利要求1所述的基于新闻关键词的文本向量加权的方法，其特征在于，所述步骤S2中TD-IDF的具体计算方式为：

TD-IDF＝TF·IDF

其中，N_x为关键词x在文档中出现的次数，N为该文档所有词的总数，G为所有新闻文本文档的总数，G_x为包含关键词x的文档总数。