[发明专利]一种基于命名实体和AP聚类的事件归并方法

权利要求书

1.一种基于命名实体和AP聚类的事件归并方法，其特征在于，包括以下步骤：

步骤1：生成待归并文本的语义向量；

步骤2：对语义向量采用AP聚类获得初始事件簇；

步骤3：根据语义向量提取待归并文本的命名实体；

步骤4：根据命名实体设置清洗规则集，对初始事件簇进行清洗获得反映同一事件的文本集合。

2.根据权利要求1所述的一种基于命名实体和AP聚类的事件归并方法，其特征在于，所述步骤1具体包括：

对每一篇待归并文本进行分词，进一步根据停用词典过滤语气词、助词停用词；

基于过滤后的分词结果采用已预训练的文本向量化模型生成文本的语义向量集X＝{x₁,x₂,x₃...,x_n}，其中x_i为第i篇待归并文本的语义向量，i＝1,2,3,...,n，n为待归并文本数，所述的已训练的文本向量化模型是通过自学习模型训练得到。

3.根据权利要求1所述的一种基于命名实体和AP聚类的事件归并方法，其特征在于，所述的步骤2具体包括：

(1)根据语义向量集X，计算两两向量相似度生成相似度矩阵S，公式如下：

其中，s(x₁,x₁)表示语义向量x₁和语义向量x₁间的相似度，n为语义向量个数即待归并文档数；

设置参考度P(i)即第i篇文本的语义向量作为聚类中心的参考度，设置P(i)为相似度矩阵的中值；

(2)初始化吸引度矩阵R和归属度矩阵A为n×n的零矩阵，设置最大迭代次数N；

(3)根据相似度矩阵S更新吸引度矩阵R和归属度矩阵A，更新公式如下：

(4)设置阻尼系数λ在吸引度矩阵和归属度矩阵A进行迭代更新中起收敛作用，公式如下：

r_t+1(i,k)＝λ×r_t(i,k)+(1-λ)×r_t+1(i,k)

a_t+1(i,k)＝λ×a_t(i,k)+(1-λ)×a_t+1(i,k)

其中，λ∈[0.5,1)；

(5)重复步骤(3)、(4)直至迭代次数达到最大值N或矩阵R和A不再变化时，算法结束，获得每一篇待归并文本的初始聚类标签，根据初始聚类标签形成的文本簇即为初始事件簇。

4.根据权利要求1所述的一种基于命名实体和AP聚类的事件归并方法，其特征在于，所述步骤3根据语义向量提取待归并文本的命名实体，命名实体包括人名、地名、组织机构名。

5.根据权利要求1所述的一种基于命名实体和AP聚类的事件归并方法，其特征在于，所述的步骤4具体包括：

(1)根据命名实体设置清洗规则集C，清洗规则的设置遵循表述同一事件的不同文本中所含的命名实体一致的原则；

(2)根据清洗规则集C对初始事件簇进行清洗，对簇中满足规则的文本进行相应处理，得到最终事件簇，即反映同一事件的文本集合。

6.根据权利要求5所述的一种基于命名实体和AP聚类的事件归并方法，其特征在于，所述的清洗规则集C＝{c₁,c₂,c₃}，其中规则c₁、c₂和c₃的详细内容如下：

c₁：待归并文本的命名实体数量为0时，则自成一个事件簇；

c₂：待归并文本所含命名实体在所属初始事件簇所含的全部命名实体集合中，仅出现1次，则自成一个事件簇；

c₃：待归并文本所属初始事件簇所含命名实体中最高频的3个实体，在该待归并文本中未出现，则自成一个事件簇。