[发明专利]一种基于公安大数据处理技术指南的数据治理方法

权利要求书

1.一种基于公安大数据处理技术指南的数据治理方法，其特征在于，包括以下步骤：

步骤一：数据接入：通过Kafka消息队列将原始感知数据、名单数据、设备数据以及智能分析数据接入数据资源池；通过ETL工具将业务数据接入到数据资源池；通过人工将人工采集数据接入到数据资源池；

步骤二：数据清洗：对原始感知数据进行数据治理；对数据资源池中的数据进行数据过滤，实现冗余垃圾信息的滤除；以相似性为基础对数据资源池中的目标进行聚类；以及对数据资源池中的数据进行标准化、数据血缘追踪以及构造数据地图；并对数据资源池中的数据进行校验以及进行数据更新检测和数据异常检测；

步骤三：数据存储：将数据资源池内的数据根据不同数据间的关系，保存至各个数据库中；数据库包括原始库、资源库、主题库、知识库、专题库、标签库以及业务要素索引库；

步骤四：数据服务：提供数据订阅以及数据接口服务；

步骤五：数据应用：依托存储的各个数据库的结合应用实现综合分析应用、积分模型以及数据应用的功能。

2.根据权利要求1所述的一种基于公安大数据处理技术指南的数据治理方法，其特征在于，所述数据清洗步骤中对原始感知数据进行数据治理的范围包括设备数据以及视频数据；

其中，设备数据治理的措施包括基础属性治理、经纬度治理、时差检测标定治理以及视频数据治理；

其中，所述基础属性治理为对监控点基本信息中的别名、场所类型、室内外、安装地址、关联地名、所属行政区划以及能力集按实际情况治理和修正；

其中，所述经纬度治理通过地图远程标定、现场勘察实现监控点治理工具的空间信息治理功能，人工对经纬度进行治理；

其中，时差检测和标定通过监控点时间差管理工具对监控点的时间差进行检测；选取需要检测的设备并设置检测周期，通过工具按照规则将多次检测出的时间差进行计算，设定需要人工对多次检测出来的时间差结果进行比较并标定出当前设备的时间差；

其中，视频数据治理措施包括实时和历史视频流地址获取、视频数据密度以及抓拍数据量异常；

其中，实时和历史视频流地址获取为根据监控点信息和时间段信息，从联网共享平台或xres组件获取监控点实时或历史视频流的取流地址；

其中，视频数据密度为调用图像识别技术，在视频结构化任务发起后，每分钟统计一次产生的目标数量；域管通过接口获取当前监控点最近一段时间检测到的目标数量，用于评判监控点当前待检测目标是否超过检测阈值，并根据需要切换解析算法；

其中，所述抓拍数据量异常为通过监控点治理工具，根据抓拍数据量情况来分析监控点的异常情况。

3.根据权利要求1所述的一种基于公安大数据处理技术指南的数据治理方法，其特征在于，数据清洗步骤中的对目标进行聚类为前端相机抓拍的人脸照片中，存在着大量的身份重复的人员；通过采用聚类模型，以人脸比对算法为基础，分析相似度达到一定阈值的抓拍照片，将相似的人脸抓拍照片聚类到一个档案中形成人员档案，实现对抓拍图片数据的聚类分组功能；根据人员档案，进一步获取更多的人员技战法，包括分析同行人、同乘人、关联车辆信息、落脚点、活跃时段、人员轨迹查询功能。

4.根据权利要求1所述的一种基于公安大数据处理技术指南的数据治理方法，其特征在于，所述数据清洗步骤中的对数据进行校验为使用结构化以及非结构化校验的方式对数据进行校验，符合标准的数据直接入库，不符合标准的数据可进入问题数据库以便进一步分析处理；所述结构化校验包括完全匹配、模糊匹配、范围匹配以及正则匹配；所述非结构化校验为通过将目标与非结构化数据进行对比校验。