[发明专利]一种用于中文新闻突发事件的文本分类与抽取方法

权利要求书

1.一种用于中文新闻突发事件的文本分类与抽取方法，其特征在于，主要包括以下步骤：

S1，利用爬虫获取多个新闻网站内容作为初始新闻数据集，记为新闻数据集S＝{s₁,s₂,...,s_N}，其中，s_i为新闻数据集中第i个新闻文本，i＝1,2,...,N，N为新闻数据集新闻文本总数；

S2，对步骤S1中得到的新闻数据集S进行分类，得到分类好的新闻数据集

S3，对已经分类好的新闻数据集进行事件抽取；

步骤S2主要包括以下步骤：

S21，提取新闻数据集S中的第一个新闻文本s₁的标题和正文，得到新闻文本s′₁＝{t₁,c₁}，其中t₁为新闻文本s₁的标题，c₁为新闻文本s₁的标题；

S22，遍历新闻数据集S中的所有新闻文本，重复步骤S21，得到新闻数据集S′，其中，N为新闻数据集新闻文本总数；

S23，提取所述新闻数据集S'中的新闻文本s′₁的特征向量，得到新闻数据集特征矩阵

S24，使用支持向量机分类器对步骤S23得到的新闻数据集特征矩阵进行分类，得到分类好的新闻数据集

步骤S23主要包括以下步骤：

S231，提取新闻数据集S'中的新闻文本s′₁中标题t₁的TF-IDF特征，得到特征向量a₁，其中，a_i为标题t₁的TF-IDF特征值，i＝1,2,...,m，m为新闻文本s′₁标题t₁的词汇总数，η为根据标题t₁中词的词性所分配的权重系数,满足

S232，从上述特征向量a₁中的选取2个最大特征值，记为a′₁＝[a′₁,a′₂]^T，将2个最大特征值对应的词汇记为

S233，提取新闻数据集S'中的新闻文本s′₁中正文c₁的TF-IDF特征，得到特征向量b₁，其中，b_i为正文c₁的TF-IDF特征值，i＝1,2,...,n，n为新闻文本s′₁正文c₁的词汇总数，η为根据正文c₁中词的词性所分配的权重系数,满足

S234，从上述特征向量b₁中的选取28个最大特征值，记为b′₁＝[b′₁,b′₂,...,b′₂₈]^-1，将28个最大特征值对应的词汇记为

S235，将步骤S232中得到特征向量a₁和步骤(2-3-4)中得到的特征向量b₁拼接成为权值矩阵ω₁：权重矩阵对应的词汇表记为

S236，对步骤S235中得到的词汇表V₁采用Word2Vec模型进行特征提取，得到新闻文本s′₁特征矩阵F_30×M：F＝[f₁,f₂,...,f₃₀]^T，其中f_i为词汇表V₁中第i个词的特征向量，M为特征向量维数，M取值为200；

S237，根据步骤S235得到的权值矩阵ω₁和步骤S236得到的特征矩阵F_30×M，按照如下公式得到新闻文本s′₁特征向量F'：

其中，ω_1i*F_i为权值矩阵ω₁第i行和特征矩阵F第i行哈达马积；

S238，对上述步骤得到的特征向量F'进行归一化，得到归一化后的特征向量f，其中|f|为特征向量f的模；

S239，遍历新闻数据集S'中的每一个新闻文本，重复上述步骤S231～S237，得到新闻数据集特征矩阵N为新闻数据集新闻文本总数；

步骤S3主要包括以下步骤：

S31，从分类好的新闻数据集选取第一类，对第一类中的不同新闻文本集合进行特征提取，构建候选事件集合

S32，利用支持向量机分类器对上述步骤S31得到的候选事件集合进行事件实例的识别，过滤掉非事件实例，得到事件实例集合Q；

S33，对上述步骤得到的事件实例集合Q进行初始聚类，得到k个聚类C＝{C₁,C₂,...,C_k}，k为聚类的类别数；

S34，从上述步骤得到的聚类C_i(1≤i≤k)中任意选取一个事件实例作为初始聚类中心，得到k个聚类中心{o₁,o₂,...,o_k}；

S35，使用上述步骤得到的k个聚类中心{o₁,o₂,...,o_k}作为k-medoids算法的聚类中心，通过聚类得到k个聚类{C′₁,C′₂,...,C′_k}，其中C′_i(1≤i≤k)代表了新闻数据集中第i类下的不同事件集合；

S36，遍历新闻数据集中的所有类，重复步骤S31～S35，得到所有的事件集合；

步骤S33中利用层次聚类算法进行初始聚类。