[发明专利]一种用于中文新闻突发事件的文本分类与抽取方法

摘要

本发明公开了一种用于中文新闻突发事件的文本分类与抽取方法，属于自然语言处理领域。本发明针对新闻文本分类，采用了基于对标题和内容信息的联合表征，并将词性对文本分类的贡献度融入到传统的TF‑IDF算法中,并作为Word2Vec词向量的权重进一步生成短文本向量，从而避免了因单一利用标题或内容引起的信息缺失和文本词汇词性重要性不同而导致的分类准确率降低的问题；最后，采用基于事件实例驱动的新闻突发事件的抽取方法抽取事件实例，不仅克服了正反例失衡以及数据稀疏问题，而且解决了预先定义事件类别的局限性，实现了事件抽取，方便新闻工作人员、舆情分析人员进一步利用事件抽取结果快速分析新闻。

主权项

1.一种用于中文新闻突发事件的文本分类与抽取方法，其特征在于，主要包括以下步骤：S1，利用爬虫获取多个新闻网站内容作为初始新闻数据集，记为新闻数据集S＝{s₁,s₂,...,s_N}，其中，s_i为新闻数据集中第i个新闻文本，i＝1,2,...,N，N为新闻数据集新闻文本总数；S2，对步骤S1中得到的新闻数据集S进行分类，得到分类好的新闻数据集S3，对已经分类好的新闻数据集进行事件抽取；步骤S2主要包括以下步骤：S21，提取新闻数据集S中的第一个新闻文本s₁的标题和正文，得到新闻文本s′₁＝{t₁,c₁}，其中t₁为新闻文本s₁的标题，c₁为新闻文本s₁的标题；S22，遍历新闻数据集S中的所有新闻文本，重复步骤S21，得到新闻数据集S′，其中，N为新闻数据集新闻文本总数；S23，提取所述新闻数据集S'中的新闻文本s′₁的特征向量，得到新闻数据集特征矩阵S24，使用支持向量机分类器对步骤S23得到的新闻数据集特征矩阵进行分类，得到分类好的新闻数据集步骤S23主要包括以下步骤：S231，提取新闻数据集S'中的新闻文本s′₁中标题t₁的TF‑IDF特征，得到特征向量a₁，其中，a_i为标题t₁的TF‑IDF特征值，i＝1,2,...,m，m为新闻文本s′₁标题t₁的词汇总数，η为根据标题t₁中词的词性所分配的权重系数,满足S232，从上述特征向量a₁中的选取2个最大特征值，记为a′₁＝[a′₁,a′₂]^T，将2个最大特征值对应的词汇记为S233，提取新闻数据集S'中的新闻文本s′₁中正文c₁的TF‑IDF特征，得到特征向量b₁，其中，b_i为正文c₁的TF‑IDF特征值，i＝1,2,...,n，n为新闻文本s′₁正文c₁的词汇总数，η为根据正文c₁中词的词性所分配的权重系数,满足S234，从上述特征向量b₁中的选取28个最大特征值，记为b′₁＝[b′₁,b′₂,...,b′₂₈]^‑1，将28个最大特征值对应的词汇记为S235，将步骤S232中得到特征向量a₁和步骤(2‑3‑4)中得到的特征向量b₁拼接成为权值矩阵ω₁：权重矩阵对应的词汇表记为S236，对步骤S235中得到的词汇表V₁采用Word2Vec模型进行特征提取，得到新闻文本s′₁特征矩阵F_30×M：F＝[f₁,f₂,...,f₃₀]^T，其中f_i为词汇表V₁中第i个词的特征向量，M为特征向量维数，M取值为200；S237，根据步骤S235得到的权值矩阵ω₁和步骤S236得到的特征矩阵F_30×M，按照如下公式得到新闻文本s′₁特征向量F'：其中，ω_1i*F_i为权值矩阵ω₁第i行和特征矩阵F第i行哈达马积；S238，对上述步骤得到的特征向量F'进行归一化，得到归一化后的特征向量f，其中|f|为特征向量f的模；S239，遍历新闻数据集S'中的每一个新闻文本，重复上述步骤S231～S237，得到新闻数据集特征矩阵N为新闻数据集新闻文本总数；步骤S3主要包括以下步骤：S31，从分类好的新闻数据集选取第一类，对第一类中的不同新闻文本集合进行特征提取，构建候选事件集合S32，利用支持向量机分类器对上述步骤S31得到的候选事件集合进行事件实例的识别，过滤掉非事件实例，得到事件实例集合Q；S33，对上述步骤得到的事件实例集合Q进行初始聚类，得到k个聚类C＝{C₁,C₂,...,C_k}，k为聚类的类别数；S34，从上述步骤得到的聚类C_i(1≤i≤k)中任意选取一个事件实例作为初始聚类中心，得到k个聚类中心{o₁,o₂,...,o_k}；S35，使用上述步骤得到的k个聚类中心{o₁,o₂,...,o_k}作为k‑medoids算法的聚类中心，通过聚类得到k个聚类{C′₁,C′₂,...,C′_k}，其中C′_i(1≤i≤k)代表了新闻数据集中第i类下的不同事件集合；S36，遍历新闻数据集中的所有类，重复步骤S31～S35，得到所有的事件集合；步骤S33中利用层次聚类算法进行初始聚类。