[发明专利]通用的数据库校验及元数据导入方法

说明书

技术领域

本发明涉及电力系统数据处理方法领域，具体为一种通用的数据库校验及元数据导入方法。

背景技术

目前众多的电力应用大多采用关系型数据库来存储海量历史生产数据，但它们各自基于的数据标准和格式往往不同，从而导致了数据库表结构的不同。因此，现有电力系统在不修改代码的前提下，几乎不可能复用其他系统的生产数据，从而增加了下游各数据查询和分析子系统的开发难度和成本。

发明内容

为了克服上述现有技术的不足，本发明的目的是提供一种通用的数据库校验及元数据导入方法。

为了达到上述目的，本发明所采用的技术方案为：

通用的数据库校验及元数据导入方法，其特征在于：程序构建即插即用式的通用的元数据导入模块，所述元数据导入模块逻辑结构如下：

导入配置的定义，编辑元数据导入所必要的配置信息，配置信息保存在UI或配置文件中；

导入配置的校验，检查UI或配置文件中的导入配置信息是否与源数据库的结构匹配以及是否满足三层HashMap的存储要求；

行过滤条件的定义，在UI中通过可视化的方式对源数据库中的各表设置过滤条件以得到需要的记录行，并能指定多个过滤条件的连接逻辑；

导入为元数据：按照导入配置和过滤条件将任意数据库中的关系型数据转换为三层HashMap结构并存入电力数据管理平台；

手动运行方式，用户通过操作模块提供的UI来自定义和校验导入配置信息并执行导入；

自动运行方式，实现自律分散的即插即用电力数据管理平台中输入层定义的接口，并通过手动运行方式下得到的含有导入配置信息的配置文件完成校验和导入逻辑。

所述的通用的数据库校验及元数据导入方法，其特征在于：导入配置的定义过程如下：

步骤1：手动方式启动模块，选择数据库类型以及要导入的源数据库；

步骤2：选择要导入的数据表；

步骤3：定义生成的元数据名称并选择一次或多次定时导入；

步骤4：对于每个要导入的表，定义其对应的Tag名称以及其下所有字段对应的Key名称；

步骤5：对于每个要导入的表，选择其要导入的字段以及三层HashMap的中层Key值的组成字段；

步骤6：对于每个要导入的表，定义其数据行过滤条件。

所述的通用的数据库校验及元数据导入方法，其特征在于：导入配置的校验过程如下：

步骤1：检查导入配置是否未指定单表可导入的最大记录行数或行数非法；

步骤2：检查导入配置是否未指定要导入的源数据库名称；

步骤3：检查导入配置指定的要导入的源数据库是否不存在；

步骤4：检查导入配置是否未指定要导入的表名或表名为空；

步骤5：检查导入配置是否指定了多个同名的导入表或导入表不存在；

步骤6：检查导入配置是否未指定导入表对应的Tag名或多个导入表对应的Tag名相同；

步骤7：检查导入配置是否未指定导入表的导入字段名或字段名为空；

步骤8：检查导入配置指定的导入表的导入字段是否不存在；

步骤9：检查导入配置是否未指定导入表的导入字段对应的Key名或Key名为空；

步骤10：检查导入配置是否未指定导入表的中层Key值的组成字段名或字段名不存在；

步骤11：检查导入配置是否未指定导入表对应的数据行计数SQL语句或SQL语句存在语法错误；

步骤12：检查导入配置指定的导入表对应的数据行计数SQL语句的返回数据行数超过了指定的单表最大行数；

步骤13：检查导入配置是否未指定导入表的中层Key值SQL语句或SQL语句存在语法错误；

步骤14：检查导入配置指定的导入表的中层Key值SQL语句的返回数据行是否包含多个相同的值；

步骤15：检查导入配置是否未指定导入表的数据行过滤SQL语句或SQL语句存在语法错误。

所述的通用的数据库校验及元数据导入方法，其特征在于：行过滤条件的定义过程如下：

步骤1：选择过滤条件包含的字段名；

步骤2：选择过滤条件包含的运算符；

步骤3：选择过滤条件包含的参考值；

步骤4：选择过滤条件包含的运算符；

步骤5：选择过滤条件之间的连接逻辑；

步骤6：在产生的SQL语句的合适位置添加括号以显式改变多个过滤条件的运算优先级；