[发明专利]基于多元复杂数据环境的数据检查方法

说明书

本发明公开了基于多元复杂数据环境的数据检查方法，其特征在于，包括以下步骤：步骤1：使用自动化数据采集系统进行数据采集，实现数据采集业务流程的自动化；步骤2：构建智慧城市治理数据源库，对智慧城市治理的数据源进行分类管理；步骤3：数据检查基本规则，对采集数据进行初步筛选；步骤4：数据特征选择，使用分支限界搜索法选择数据特征；步骤5：通过数据对比对采集的数据进行筛查入库。本发明适用于城市治理，结合城市治理调度的业务需求，检查从多元复杂数据中获取到的各类业务数据，利用数据检查机制，确认数据的及时性、准确性，并能契合城市治理调度的核心业务，且确保城市治理有迹可循、有据可依。

技术领域

本发明涉及大数据治理领域，尤其涉及一种基于多元复杂数据环境的数据检查方法。

背景技术

在城市建设中，国家、省、市、县存在统建、自建多种系统建设形式，系统与系统之间相互独立，形成大量的系统孤岛和数据孤岛。而城市治理需要整合各类系统的核心业务数据，构建城市治理大数据资源池，并基于大数据资源池，形成城市治理的业务逻辑，从中发现城市运行过程中存在的问题，包括但不限于生态、经济、安全和稳定。

同时，由于统建、自建系统的特性，无法做到形成统一的数据标准和标准的数据接入方式，存在着大量的多元、复杂数据，必须采用不同的数据接入方式，包括但不限于excel表格导入、接口、库表等形式。

在专利申请号CN201410447568.8中公开了一种以数据更新周期进行预操作提高数据查询效率的装置及方法，是通过根据数据更新周期以及业务数据查询需求，对各类查询进行分解、优化组合为最小次数查询操作，并提前进行查询操作，从而有效地降低被查询系统的压力、提高了业务数据查询的效率。本发明通过依据数据更新周期进行预先操作，从而减轻被查询系统的压力，并提高查询结果的递送速度。

在专利申请号CN202011621928.3中公开了一种基于点位标记的高炉实时数据更新方法和装置，所述方法包括：在服务器端执行：定时获取最近一个周期的数据集合，并根据最近一个周期的数据集合预测下一周期的模拟数据集合；在一个周期后获取下一周期的实际数据集合；比较下一周期的实际数据集合和下一周期的模拟数据集合的差异，获得更新点数据集合，并将所述更新点数据集合发送给客户端；在客户端执行：将最近一个周期的数据集合复制为下一周期的临时数据集合，并根据接收的更新点数据对下一周期的临时数据集合进行数据修正，以得到下一周期的实际数据集合，再根据下一周期的实际数据集合执行图形显示或图表动态显示。适用于高炉数据等缓慢变化的实时数据的显示刷新。

以上专利虽然对数据的查询和更新提出了高效的方法手段，但是它们并没有对比多元复杂数据的接入、查询和更新提出一种有效的实现方法，在面对数据源必须采用不同的接入方式，无法做到形成统一的数据标准和标准的数据接入方式。

为了确保数据的及时性、准确性，且确保城市治理有迹可循、有据可依，就必须建立基于多元复杂数据构建数据检查机制。

发明内容

本发明的目的在于克服现有技术的不足，依据智慧城市治理调度业务需求，检查从多元复杂数据环境采集到的数据的数量、质量和准确性，为解决不同数据接入形式下存在无法检查多元复杂数据的及时性、准确性问题，提供一种基于多元复杂数据环境的数据检查方法。

本发明的目的是通过以下技术方案来实现的：

基于多元复杂数据环境的数据检查方法，包括以下步骤：

步骤1：使用自动化数据采集系统进行数据采集，实现数据采集业务流程的自动化；

步骤2：构建智慧城市治理数据源库，对智慧城市治理的数据源进行分类管理；

步骤3：数据检查基本规则，对采集数据进行初步筛选；

步骤4：数据特征选择，使用分支限界搜索法选择数据特征；

步骤5：通过数据对比对采集的数据进行筛查入库。