[发明专利]一种基于公安文本的主动发现案件关键词的方法

说明书

本发明公开了一种基于公安文本的主动发现案件关键词的方法，其特征在于，包括如下步骤：S1：对结构化公安文本直接提取数据，对非结构化公安文本进行数据预处理；S2：使用基于主题模型的无监督关键词提取网络对预处理后的文本数据提取关键词；S3：使用融合若干种因子的关键词热度分析模型对所述步骤S2中提取的关键词进行分析，进一步突出与当前事件或当前季节相关性更紧密的关键词；S4：对所述步骤S3中的关键词进行实时热度分析与趋势热度分析，获取该关键词的当前实时热度并预测其后续热度发展趋势。

技术领域

本发明涉及关键词提取技术领域，具体来说，涉及一种基于公安文本的主动发现案件关键词的方法。

背景技术

目前在公安系统中，在处理案件时，很多案件文本存在有语义模糊的问题，由于案件文本是一种半结构化或者非结构化的公安警务文本，且因为业务场景的特殊性，案件文本没有固定的内容格式，语义信息较为模糊，存在大量需要解决的语境理解、上下文理解、实体消歧、词语纠错，词语变换，指代消解等技术问题；还有时空信息交错，人员身份混杂，作案手法多样，涉案脚本多变，各线索关联复杂的问题，要在如此短小但信息量巨大的文本中识别具有业务价值的信息，就需要解决实体信息区分定位的问题；并且因为案件文本具有非结构化文本的语义模糊性以及短篇文本的字数限制性，对信息量以及业务重要性进行识别与分配也很重要；而且未登陆词是NLP场景中的经典难点，尤其在案件文本中，作案工具、作案手法、作案脚本等团伙特征会随着犯罪分子的反侦察能力的提升而不断更新，并且更新频率不断加快，所以需解决在结合业务场景的前提下，主动从海量公安案件文本中发现关键词的问题，尤其是发现未登录关键词；在不同空间位置、不同时间周期、不同季节以及不同事件等复杂场景下，需要结合“信息量”“历史趋势因子”“事件驱动因子”“季节趋势因子”“波动率”“影响衰减因子”“关联信息影响因子”等多种算法因子，才能实现案件关键词的高质量抽取。

现有的关键词提取方法包括有监督、半监督、和无监督三种。然而，有监督的关键词提取方法需要已经标注好的语料来训练模型，人工成本比较高；半监督的关键词提取方法需对所提取出的关键词进行人工过滤，再将过滤得到的关键词加入训练集，重新训练模型，工作量比较大；无监督的关键词抽取方法中的基于主题模型的无监督关键词提取方法常用的主题模型是 LDA 主题模型，利用文档的隐含语义信息来提取关键词，但是这种方法所提取的关键词比较宽泛，不能很好地反应文档主题，另外 LDA 模型的时间复杂度较高。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于公安文本的主动发现案件关键词的方法，能够克服现有技术的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于公安文本的主动发现案件关键词的方法，其特征在于，包括如下步骤：

S1：对结构化公安文本直接提取数据，对非结构化公安文本进行数据预处理；

S2：使用基于主题模型的无监督关键词提取网络对预处理后的文本数据提取关键词；

S3：使用融合若干种因子的关键词热度分析模型对所述步骤S2中提取的关键词进行分析，进一步突出与当前事件或当前季节相关性更紧密的关键词；

S4：对所述步骤S3中的关键词进行实时热度分析与趋势热度分析，获取该关键词的当前实时热度并预测其后续热度发展趋势。

进一步的，对于所述步骤S1，数据预处理的输入是结构化公安文本和经预处理后的非结构化公安文本，输出是包含文本语义、领域知识、刑侦研判因子的文本嵌入向量。

进一步的，对于所述步骤S2，提取关键词的输入是公安文本，输出是被提取出的关键词。

其中，用来抽取公安文本中关键词的方法为TF-IDF、 TextRank 算法和基于主题模型的无监督关键词提取网络。