[发明专利]一种用于中文新闻突发事件的文本分类与抽取方法

说明书

本发明公开了一种用于中文新闻突发事件的文本分类与抽取方法，属于自然语言处理领域。本发明针对新闻文本分类，采用了基于对标题和内容信息的联合表征，并将词性对文本分类的贡献度融入到传统的TF‑IDF算法中,并作为Word2Vec词向量的权重进一步生成短文本向量，从而避免了因单一利用标题或内容引起的信息缺失和文本词汇词性重要性不同而导致的分类准确率降低的问题；最后，采用基于事件实例驱动的新闻突发事件的抽取方法抽取事件实例，不仅克服了正反例失衡以及数据稀疏问题，而且解决了预先定义事件类别的局限性，实现了事件抽取，方便新闻工作人员、舆情分析人员进一步利用事件抽取结果快速分析新闻。

技术领域

本发明涉及自然事件处理领域，尤其涉及一种用于中文新闻突发事件的文本分类与抽取方法。

背景技术

近年来，网络新闻快速发展，相比于传统媒体新闻，网络新闻更加快速、灵活且便捷，网络新闻也日渐成为人们获取新闻资讯的一种最普遍方式。利用文本分类技术自动地对大量新闻进行快速的分类，以及在保证原始新闻主要内容的前提下，如何有效的抽取新闻中的事件，是当前研究的主要困难。新闻文本分类以及事件提取在信息提取领域一直是极具挑战性的问题，涉及自然语言处理、数据挖掘、机器学习等多个学科的技术和方法，在自动摘要、信息检索等领域有着广泛的需求和应用前景。首先，利用向量空间模型，对新闻标题以及内容进行向量量化表示，构建特征矩阵，利用基于余弦相似度和机器学习分类器对新闻进行分类。进一步，利用事件抽取算法对已经分类好的数据集进行事件提取。

现有的技术文献中，发明专利“一种基于文体和词表的突发事件信息抽取方法及系统”，公开号为201711343022.8，采用词表进行事件分类，采用文体特征进行时间、事件摘要的抽取。这种基于触发词和事件元素的匹配方法依赖于具体领域及文本格式，且基于触发词的事件抽取方法会引入大量的反例，造成正反例失衡且在语料库规模较小时存在一定的数据稀疏。

发明内容

本发明的目的在于提供一种用于中文新闻突发事件的文本分类与抽取方法，在对新闻文本进行分类的基础上，利用基于事件实例驱动的事件抽取方法，对新闻进行事件抽取，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种用于中文新闻突发事件的文本分类与抽取方法，主要包括以下步骤：

S1，利用爬虫获取多个新闻网站内容作为初始新闻数据集，记为新闻数据集S＝{s₁,s₂,...,s_N}，其中，s_i为新闻数据集中第i个新闻文本，i＝1,2,...,N，N为新闻数据集新闻文本总数；

S2，对步骤S1中得到的新闻数据集S进行分类，得到分类好的新闻数据集

S3，对已经分类好的新闻数据集进行事件抽取。

优选地，步骤S2主要包括以下步骤：

S21，提取新闻数据集S中的第一个新闻文本s₁的标题和正文，得到新闻文本s′₁＝{t₁,c₁}，其中t₁为新闻文本s₁的标题，c₁为新闻文本s₁的标题；

S22，遍历新闻数据集S中的所有新闻文本，重复步骤S21，得到新闻数据集S′，其中，N为新闻数据集新闻文本总数；

S23，提取所述新闻数据集S′中的新闻文本s′₁的特征向量，得到新闻数据集特征矩阵

S24，使用支持向量机分类器对步骤S23得到的新闻数据集特征矩阵进行分类，得到分类好的新闻数据集

优选地，步骤S23主要包括以下步骤：