[发明专利]一种基于公安大数据处理技术指南的数据治理方法

说明书

本发明公开了一种基于公安大数据处理技术指南的数据治理方法，涉及智慧公安大数据处理技术领域，分析已有的公安各警种和委办局业务数据、传感器数据、人工采集数据等数据源，将业务系统的数据接入到数据资源池,注册数据源并对其管理、元数据接入、接入任务及其管理。然后对数据进行清洗，对清洗后的数据成果，分原始库、资源库、主题库、专题库、标签库等进行存储，并为上层应用提供数据支撑；满足用户数据按需汇聚、统一存储、统一管理、统一维护的需求，有效的解决了用户各类数据逻辑孤岛难题。

技术领域

本发明属于公安大数据处理领域，涉及大数据处理技术，具体是一种基于公安大数据处理技术指南的数据治理方法。

背景技术

近年来，公安大数据战略不断升级，大数据应用在侦查打击、管理防范等领域持续井喷，已经成为公安部门不可或缺的实战利器。不过，公安大数据应用发展至今，数据壁垒导致的“信息孤岛”现象仍然存在，目前，公安信息网、视频专网、政务外网、社会资源整合网、互联网等多种网络之间仍然存在数据融合和开放能力不足、数据和应用耦合度高等问题；

首先是公安信息化建设中产生了大量结构化、非结构化、半结构化的数据资源，但现有公安系统往往只能就结构化数据进行简单应用，多数非结构化和半结构化数据没有发挥作用；

其次，各地方公安数据库建设情况不同，且多数只停留在标准库和原始库层次，数据之间缺乏有价值的关联；

最后，大部分地区只有少数警种在开展智能化应用探索，目前尚未形成全警种的智能应用网络，导致预测、预警、预防能力普遍偏低；已有的智能应用大多也存在无效预警过多、更新慢、没有因地制宜等缺陷；

为此，提出一种基于公安大数据处理技术指南的数据治理方法。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于公安大数据处理技术指南的数据治理方法，该一种基于公安大数据处理技术指南的数据治理方法分析已有的公安各警种和委办局业务数据、传感器数据、人工采集数据等数据源，将业务系统的数据接入到数据资源池,注册数据源并对其管理、元数据接入、接入任务及其管理；然后对数据进行清洗，对清洗后的数据成果，分原始库、资源库、主题库、专题库、标签库等进行存储，并为上层应用提供数据支撑；满足用户数据按需汇聚、统一存储、统一管理、统一维护的需求，有效的解决了用户各类数据逻辑孤岛难题；

为实现上述目的，根据本发明的第一方面的实施例提出一种基于公安大数据处理技术指南的数据治理方法，包括以下步骤：

步骤一：数据接入：通过Kafka消息队列将原始感知数据、名单数据、设备数据以及智能分析数据接入数据资源池；通过ETL工具将业务数据接入到数据资源池；通过人工将人工采集数据接入到数据资源池；

步骤二：数据清洗：对原始感知数据进行数据治理；对数据资源池中的数据进行数据过滤，实现冗余垃圾信息的滤除；以相似性为基础对数据资源池中的目标进行聚类；以及对数据资源池中的数据进行标准化、数据血缘追踪以及构造数据地图；并对数据资源池中的数据进行校验以及进行数据更新检测和数据异常检测；

步骤三：数据存储：将数据资源池内的数据根据不同数据间的关系，保存至各个数据库中；数据库包括原始库、资源库、主题库、知识库、专题库、标签库以及业务要素索引库；

步骤四：数据服务：提供数据订阅以及数据接口服务；

步骤五：数据应用：使用保存的各个数据库实现综合分析应用、积分模型以及数据应用的功能；

其中，所述原始感知数据为通过人脸、人体以及车辆等传感器获取的人脸、人体以及车辆数据，

其中，所述名单数据为通过名单管理组件获取到的应用平台下发的名单数据；