[发明专利]一种评估时空数据质量的方法与装置

说明书

本发明公开了一种评估时空数据质量的方法与装置，建立业务元数据库；建立基准库；接收增量数据；对DS1进行元数据完整性检查；识别DS2的数据类型；对DS2执行质量评估；展示质量评估结果，本发明能够提升生产效率与数据质量，开箱即用的时空数据质量评估标准、规则与方法，以事件触发机制对数据源及生产过程进行正向监控，用自动化的技术手段将质量评估融入生产各个环节，及时发现并解决隐藏的数据问题，提升数据质量，降低发现成本、定位成本、修复成本，杜绝不合格增量数据对基准数据的污染，提升数据可信度，同时也保障生产进度，以敏捷研发模式支持数据生产与质量管理，及时应对灵活多变的数据需求，保障生产进度。

技术领域

本发明涉及大数据技术领域，具体为一种评估时空数据质量的方法与装置。

背景技术

时空数据是指同时具有时间和空间维度的数据，现实世界中的数据超过80％与地理位置有关，时空数据包括时间、空间、专题属性三维信息，具有多源、海量、更新快速的综合特点，数据质量是数字化决策的基石，糟糕的数据将带来错误的决策，清洁准确的数据，才能有效发挥其正价值，精准赋能业务增长，实现运营效率的提升，给企业带来超预期的收益；

传统模式下的数据质量控制，往往采用瀑布模式，具有阶段性，一些严重的缺陷到系统测试阶段才被验证和发现，导致缺陷定位链条长、修复成本高、时效性低、项目进度难以控制等问题，无法适应大数据时代数据生产过程中数据规模和迭代速度。

发明内容

本发明提供一种评估时空数据质量的方法与装置，可以有效解决上述背景技术中提出传统模式下的数据质量控制，往往采用瀑布模式，具有阶段性，一些严重的缺陷到系统测试阶段才被验证和发现，导致缺陷定位链条长、修复成本高、时效性低、项目进度难以控制等问题，无法适应大数据时代数据生产过程中数据规模和迭代速度的问题。

为实现上述目的，本发明提供如下技术方案：一种评估时空数据质量的方法，具体包括如下步骤：

S1、建立业务元数据库；

S2、建立基准库；

S3、接收增量数据；

S4、对DS1进行元数据完整性检查；

S5、识别DS2的数据类型；

S6、对DS2执行质量评估；

S7、展示质量评估结果。

基于上述技术方案，所述S1中，建立业务元数据库具体包括定义业务元数据表结构、填充元数据定义数据、定义行业字段枚举值和定义测试指标库；

所述定义业务元数据表结构包括基础字段和深度字段，基础字段包括名称、类别、空间坐标信息和参考系，深度字段包括若干行业字段的合集以及对应字典表；

所述填充元数据定义数据具体包括定义业务数据行业类别，建立行业类别与深度字段的关联信息，定义字段类型、长度范围以及定义深度字段的可选与否。

基于上述技术方案，所述S2中，所述建立基准库具体是指将库中填充全国范围内WGS84坐标系的主数据控制点、区县级以上行政区域、水系(面状)、二级以上路网(面状)，主数据控制点包括准确率大于等于99％的POI点，如火车站、机场、著名景点、小区和写字楼等。

基于上述技术方案，所述S3中，在接收增量数据后，对增量数据进行本地化存储和归档，默认增量数据全量为质量监控对象，并提供过滤接口，支持通过SQL语句指定监控范围；

具体包括：按元数据定义标准提供行业模板，支持终端录入、传感器等采集模式进行数据采集，支持离线数据格式，包括但不限于以下格式.shp、.xlsx、.csv、.geojson、.json、.kml，支持在线数据库读取：PostGIS、PostgreSQL，将待监控增量数据进行本地化存储和归档，生成临时数据集DS1。