[发明专利]基于多元复杂数据环境的数据检查方法

权利要求书

1.基于多元复杂数据环境的数据检查方法，其特征在于，包括以下步骤：

步骤1：使用自动化数据采集系统进行数据采集，实现数据采集业务流程的自动化；

步骤2：构建智慧城市治理数据源库，对智慧城市治理的数据源进行分类管理；

步骤3：数据检查基本规则，对采集数据进行初步筛选；

步骤4：数据特征选择，使用分支限界搜索法选择数据特征；

步骤5：通过数据对比对采集的数据进行筛查入库。

2.根据权利要求1所述的基于多元复杂数据环境的数据检查方法，其特征在于，所述软件机器人包括模拟系统登录模块、连接系统接口API模块、读写数据库模块、读取excel文件模块和规则定制操作模块；以完成从复杂的数据环境采集数据，兼容更多的数据采集场景。

3.根据权利要求1所述的基于多元复杂数据环境的数据检查方法，其特征在于，所述数据源包括生态环境、经济运行、城市安全、社会稳定和营商环境这5个方面的官方数据，软件机器人在进行数据采集时，通过扫描数据源，获取相关领域的数据，在数据源有新增、更改和废气时，及时更新数据库。

4.根据权利要求1所述的基于多元复杂数据环境的数据检查方法，其特征在于，所述数据检查基本规则包括空值检查、枚举值检查、模式检查、唯一性检查、正确性检查和普及性检查，对采集数据进行初步筛选，缩小后续进行数据对比的数据量。

5.根据权利要求1所述的基于多元复杂数据环境的数据检查方法，其特征在于，所述步骤4包括以下子步骤：

步骤401：对根据前期收集的各方面样本数据设置分支限界，使用分支限界搜索法对样本数据进行全面扫描，剪除不符合限界的特征；

步骤402：使用保留下的数据特征对样本数据进行特征匹配度，确认匹配度平均值是否达到阈值；若达到阈值，则保留数据特征做为后续数据对比的依据；否则设置新的分支限界，继续对剩余数据特征进行分支限界搜索，直到匹配度平均值达到阈值。

6.根据权利要求1所述的基于多元复杂数据环境的数据检查方法，其特征在于，所述数据对比包括特征对比或历史对比，以及同时进行特征对比和历史对比；

特征对比：依据前面筛选出的数据特征，对采集的数据进行数据特征比对，计算特征匹配度，保留特征匹配度在阈值之上的数据；

历史对比：提取最近3个统计周期的数据，计算各数据项的变化幅度，对变化幅度超过阈值的数据进行标记，由人工确认数据的合理性。

7.根据权利要求1所述的基于多元复杂数据环境的数据检查方法，其特征在于，筛查入库通过率低于阈值时，以现有数据为样本，使用分支限界搜索重新选择数据特征。

8.根据权利要求1所述的基于多元复杂数据环境的数据检查方法，其特征在于，所述自动化数据采集系统为软件机器人。

9.根据权利要求1所述的基于多元复杂数据环境的数据检查方法，其特征在于，所述自动化数据采集系统为可配置数据采集模板。