[发明专利]一种自动化加载数据的方法和装置

权利要求书

1.一种自动化加载数据的方法，其特征在于，包括：

获取数据源，以导入数据库中的临时表；

读取所述临时表，如果存在预设时间内需要处理的分区数据，则读取所述分区数据对应数据源中预设的标示字段；

根据所述标示字段，将所述临时表中的数据写入目标表中。

2.根据权利要求1所述的方法，其特征在于，所述获取数据源，以导入数据库中的临时表，包括：

读取外部数据源，对不同格式的数据源进行解析；

将解析后的不同格式数据处理成数据库可读取的格式，以导入数据库中的临时表。

3.根据权利要求1所述的方法，其特征在于，还包括：

对执行相应操作的数据库中目标表进行校验，以判断数据加载是否正常。

4.根据权利要求3所述的方法，其特征在于，所述读取所述分区数据对应数据源中预设的标示字段之前，还包括：

缓存当前数据库的目标表文件大小；

所述对执行相应操作的数据库中目标表进行校验，包括：

比对目标表执行相应操作前后的文件大小，如果执行相应操作后的目标表文件大小大于执行相应操作前的目标表文件大小则数据加载正常。

5.根据权利要求1所述的方法，其特征在于，根据所述标示字段，将所述临时表中的数据写入目标表中，包括：

如果所述标示字段为新增操作，则获取临时表中每条数据的主键，判断在目标表中是否有与临时表相同主键的数据；

如果没有与临时表相同主键的数据，则将临时表中的数据和目标表中数据进行合并，然后重写回目标表。

6.根据权利要求1所述的方法，其特征在于，根据所述标示字段，将所述临时表中的数据写入目标表中，包括：

如果所述标示字段为更新操作，则获取临时表中每条数据的主键，删除目标表中具有相同主键的数据；

把临时表中的数据和目标表中数据进行合并，然后重写回目标表。

7.一种自动化加载数据的装置，其特征在于，包括：

导入模块，用于获取数据源，以导入数据库中的临时表；

读取模块，用于读取所述临时表，如果存在预设时间内需要处理的分区数据，则读取所述分区数据对应数据源中预设的标示字段；

执行模块，用于根据所述标示字段，将所述临时表中的数据写入目标表中。

8.根据权利要求7所述的装置，其特征在于，所述导入模块获取数据源，以导入数据库中的临时表时，包括：

读取外部数据源，对不同格式的数据源进行解析；

将解析后的不同格式数据处理成数据库可读取的格式，以导入数据库中的临时表。

9.根据权利要求7所述的装置，其特征在于，所述执行模块，还用于：

对执行相应操作的数据库中目标表进行校验，以判断数据加载是否正常。

10.根据权利要求9所述的装置，其特征在于，所述读取模块读取所述分区数据对应数据源中预设的标示字段之前，还包括：

缓存当前数据库的目标表文件大小；

所述执行模块对执行相应操作的数据库中目标表进行校验，包括：

比对目标表执行相应操作前后的文件大小，如果执行相应操作后的目标表文件大小大于执行相应操作前的目标表文件大小则数据加载正常。

11.根据权利要求7所述的装置，其特征在于，所述执行模块根据所述标示字段，将所述临时表中的数据写入目标表中，包括：

如果所述标示字段为新增操作，则获取临时表中每条数据的主键，判断在目标表中是否有与临时表相同主键的数据；

如果没有与临时表相同主键的数据，则将临时表中的数据和目标表中数据进行合并，然后重写回目标表。