[发明专利]一种文本同事件识别方法、装置及可读存储介质

说明书

本方案提供了一种文本同事件识别方法、装置及可读存储介质，通过获取至少一待识别文本数据并依据词性进行分词，基于依据词性进行分词后的子词构建词汇索引字典和词汇频率字典，选择所述词汇频率字典中满足筛选条件的至少一子词作为筛选词，从所述词汇索引字典中筛选含有对应的筛选词的至少一第一相似文本数据集；获取每一所述第一相似文本数据集并输入到经训练后的第一句子模型中得到所述筛选词的词向量，所述词向量结合所述第一相似文本数据集构建词汇向量矩阵，选择所述词汇向量矩阵相似度大于第一设定阈值的筛选词对应的待识别文本数据组成预选同事件文本数据集，通过上述方式可以有效提高同文本事件的处理效率。

技术领域

本申请涉及自然语言处理领域，特别是涉及一种文本同事件识别方法、装置及可读存储介质

背景技术

在对文本数据处理的过程中，往往它的事件来源较多、数据量较大、内容表述杂乱，在分析处理的过程中，往往有挖掘出描述事件一致的案件文本数据的需求，通过文本处理算法挖掘出事件一致的文本并按照轻、重、缓、急进行分级治理，可以有效提高对大量文本数据快速处理的能力。

由于经济社会的快速发展，居民参与城市治理的热情越来越高，其在参与治理的过程中会产生大量的文本城市问题案卷数据；这些案卷数据的表述形式不一、数据量较大，文本表述中存在大量无用的噪声信息，在城市治理中人工难以准确快速的对其进行响应，给各级处理部门带来了较大的困难；随着人工智能技术快速发展，特别是大规模的预训练模型的出现给解决各项文本问题带来了可能，通过将预训练大模型结合自身领域内的数据进行模型微调就可以在一定程度上解决相对简单的文本问题；然而在城市治理中，文本内容表现繁杂，仅直接利用这些案卷数据进行微调训练还不能直接达到较好的效果，提升语言模型对该领域文本数据的表达能力是解决问题的关键。

发明内容

本申请实施例提供了一种文本同事件识别方法、装置及可读存储介质，针对目前表述形式不一、数据量大的文本数据能够实现自动判断出同事件文本，方便各级处理部门处理。

第一方面，本申请实施例提供了一种文本同事件识别方法，所述方法包括：

获取至少一待识别文本数据并依据词性进行分词，基于依据词性进行分词后的子词构建词汇索引字典和词汇频率字典，选择所述词汇频率字典中满足筛选条件的至少一子词作为筛选词，从所述词汇索引字典中筛选含有对应的筛选词的至少一第一相似文本数据集；

获取每一所述第一相似文本数据集并输入到经训练后的第一句子模型中得到所述筛选词的词向量，所述词向量结合所述第一相似文本数据集构建词汇向量矩阵，选择所述词汇向量矩阵相似度大于第一设定阈值的筛选词对应的待识别文本数据组成预选同事件文本数据集。

第二方面，本申请实施例提供了文本同事件识别装置，包括：

第一获取模块：获取至少一待识别文本数据并依据词性进行分词，基于依据词性进行分词后的子词构建词汇索引字典和词汇频率字典，选择所述词汇频率字典中满足筛选条件的至少一子词作为筛选词，从所述词汇索引字典中筛选含有对应的筛选词的至少一第一相似文本数据集；

第二获取模块：获取每一所述第一相似文本数据集并输入到经训练后的第一句子模型中得到所述筛选词的词向量，所述词向量结合所述第一相似文本数据集构建词汇向量矩阵；

判断模块：选择所述词汇向量矩阵相似度大于第一设定阈值的筛选词对应的待识别文本数据组成预选同事件文本数据集。

第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种文本同事件识别方法。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，用来执行一种文本同事件识别方法。

本发明的主要贡献和创新点如下：