[发明专利]一种重复案件查找方法和装置、计算机可读存储介质

说明书

本申请公开了一种重复案件查找方法和装置、计算机可读存储介质，所述方法包括获取多个案件的案情描述文本集，所述案情描述文本集包括案件编码信息和案情描述信息，所述案情描述信息包括以下一种或多种信息：参与人、发生日期；对案情描述文本集进行局部敏感哈希算法处理，得到相似度大于或等于预设相似度阈值的一个或多个案件集合，并对得到的案件集合进行合并处理，使得合并后的案件集合之间无交集；剔除合并后的案件集合中与其他案件没有相同参与人和/或发生日期不同的案件，得到一个或多个重复案件集合。本申请通过局部敏感哈希算法处理以及参与人和发生日期比较，去除了案件集合中的错误数据，保障了高相似案件中同一案件识别的精准度。

技术领域

本申请涉及但不限于数据挖掘技术领域，尤其涉及一种重复案件查找方法和装置、计算机可读存储介质。

背景技术

案情描述是案件分析重要的元素，但是，由于公安案件录入系统建设比较早，在技术上没有做防重复提交，又或者不同的受害人对同一案件先后报案，以及团伙作案被以个人为单位反复立案，导致了公安的案件库录入了很多重复案件，例如，某省级公安厅200万(W)级的案件数据中有6000多重复案件。这些重复案件会对案情分析人员在串并案研究、团伙犯案计算时有一定的影响。

由于同一案件多次立案时描述差异可能很大，而目前单纯的依靠自然语言处理(Natural Language Processing，NLP)技术提取关键字的方法，完全依赖中文分词技术的精准度，会因为实体识别的错误和遗漏，丢失特征维度信息，对同一案件造成误判。

发明内容

本申请提供了一种重复案件查找方法和装置、计算机可读存储介质，能够保障高相似案件中同一案件识别的精准度。

本申请提供了一种重复案件查找方法，包括：

获取多个案件的案情描述文本集，所述案情描述文本集包括案件编码信息和案情描述信息，所述案情描述信息包括以下一种或多种信息：参与人、发生日期；

对所述案情描述文本集进行局部敏感哈希算法处理，得到相似度大于或等于预设相似度阈值的一个或多个案件集合，并对得到的案件集合进行合并处理，使得合并后的案件集合之间无交集；

剔除所述合并后的案件集合中与其他案件没有相同参与人和/或发生日期不同的案件，得到一个或多个重复案件集合。

在一种示例性实施例中，所述案情描述信息还包括以下一种或多种信息：录入时间、发生时间、发生地点、事件描述；

所述对所述案情描述文本集进行局部敏感哈希算法处理，得到相似度大于或等于预设相似度阈值的一个或多个案件集合，包括：

对每个所述案件的案情描述信息进行分词，并对每个分词计算局部敏感哈希值，得到每个所述案件的案情描述信息的分词哈希值集合；

计算每个所述案件的案情描述信息的分词哈希值集合和与该所述案件的录入时间在预设时间宽度范围内的其他案件的案情描述信息的分词哈希值集合的最小哈希系数，所述最小哈希系数为两个分词哈希值集合的哈希值交集除以所述两个分词哈希值集合的哈希值并集；

当最小哈希系数高于所述预设相似度阈值时，将所述两个分词哈希值集合对应的两个案件的案件编码保存为一个案件集合。

在一种示例性实施例中，若一个案件集合为{案件A，案件B}，另一个案件集合为{案件B，案件C}，则所述对得到的案件集合进行合并处理，使得合并后的案件集合之间无交集具体为，将案件集合{案件A，案件B}和案件集合{案件B，案件C}合并为案件集合{案件A，案件B，案件C}。

在一种示例性实施例中，所述剔除所述案件集合中与其他案件没有相同参与人和/或发生日期不同的案件，得到一个或多个重复案件集合，包括：