[发明专利]一种基于命名实体和AP聚类的事件归并方法

说明书

本发明属于事件归并领域，尤其是一种基于命名实体和AP聚类的事件归并方法，针对现有的仅依靠无监督的聚类算法存在一定的归并误差的问题，现提出如下方案，其包括以下步骤：生成待归并文本的语义向量；对语义向量采用AP聚类获得初始事件簇；根据语义向量提取待归并文本的命名实体；根据命名实体构建清洗规则集对初始事件簇进行清洗获得事件归并结果。本发明充分考虑了事件个数未知的前提，采用无需预先设定聚类数的AP聚类算法，并将文本转化为语义向量使数值向量涵盖文本语义信息，以此作为聚类算法的输入，以提升聚类精度；遵循描述同一事件的文本所含命名实体一致的原则，构建清洗规则集对初始聚类结果进行清洗优化，有效提升事件归并效果。

技术领域

本发明涉及事件归并方法技术领域，尤其涉及一种基于命名实体和AP聚类的事件归并方法。

背景技术

近年来，随着论坛、微博、市长信箱、阳光热线、网上信访等网络平台逐步成为政府了解民意、汇聚民智、舆情监控的重要渠道，各类社情民意相关的文本数据量不断攀升，给以往主要依靠人工来进行文章、留言和信件等整理的相关部门带来极大挑战。其中，对于杂糅了大量不同事件的文本数据，如何将描述同一事件的文本进行信息归并，是对事件总体信息归纳梳理的基础，是帮助相关人员梳理事件脉络的关键。

目前，大数据、人工智能、自然语言处理等技术已广泛应用于文本处理中。针对文本数据中的事件归并问题，可通过计算文本间相似度对达到阈值的文本进行归并的方法来实现，该方法计算过程简单但计算量大，且阈值不好确定；也可通过如层次聚类、K-Menas聚类、LDA主题模型等算法实现，但需预先设定聚类数或主题数，而文本集中总共反映了多少个事件未知，即聚类数或主题数无法确定；还可通过如AP聚类等基于图的聚类算法实现，虽无需预先设定聚类数，但仅依靠无监督的聚类算法存在一定的归并误差。

发明内容

本发明的目的是为了解决现有技术中存在仅依靠无监督的聚类算法存在一定的归并误差的缺点，而提出的一种基于命名实体和AP聚类的事件归并方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于命名实体和AP聚类的事件归并方法，包括以下步骤：

步骤1：生成待归并文本的语义向量；

步骤2：对语义向量采用AP聚类获得初始事件簇；

步骤3：根据语义向量提取待归并文本的命名实体；

步骤4：根据命名实体设置清洗规则集，对初始事件簇进行清洗获得反映同一事件的文本集合。

优选的，所述步骤1具体包括：

对每一篇待归并文本进行分词，进一步根据停用词典过滤语气词、助词停用词；

基于过滤后的分词结果采用已预训练的文本向量化模型生成文本的语义向量集X＝{x₁,x₂,x₃...,x_n}，其中x_i为第i篇待归并文本的语义向量，i＝1,2,3,...,n，n为待归并文本数，所述的已训练的文本向量化模型是通过自学习模型训练得到。

优选的，所述的步骤2具体包括：

(1)根据语义向量集X，计算两两向量相似度生成相似度矩阵S，公式如下：

其中，s(x₁,x₁)表示语义向量x₁和语义向量x₁间的相似度，n为语义向量个数即待归并文档数；

设置参考度P(i)即第i篇文本的语义向量作为聚类中心的参考度，设置P(i)为相似度矩阵的中值；