[发明专利]一种自动化加载数据的方法和装置

说明书

本发明公开了自动化加载数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取数据源，以导入数据库中的临时表；读取所述临时表，如果存在预设时间内需要处理的分区数据，则读取所述分区数据对应数据源中预设的标示字段；根据所述标示字段，将所述临时表中的数据写入目标表中。该实施方式能够解决现有技术中加载数据时效性无法保证，数据准确性和安全性差的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种自动化加载数据的方法和装置。

背景技术

目前，在流量数据解析中有很多业务数据无法从系统中直接拿到，需要手动处理后再人工添加到文件系统中。具体地，新的流量数据需要手动整理成hive(是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。)表格式的数据集，然后备份仓库中表数据，并且需要手动删除备份仓库中hdfs(Hadoop Distributed File System分布式文件系统)下的数据，且需要手动把最新数据put到hdfs路径下。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在加载业务数据过程中由于采用的都是人工处理，所以很多时候无法保证时效性，也影响数据准确性和安全性。

发明内容

有鉴于此，本发明实施例提供一种自动化加载数据的方法和装置，可以解决现有技术中加载业务数据时效性无法保证，数据准确性和安全性差的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种自动化加载数据的方法，包括：获取数据源，以导入数据库中的临时表；读取所述临时表，如果存在预设时间内需要处理的分区数据，则读取所述分区数据对应数据源中预设的标示字段；根据所述标示字段，将所述临时表中的数据写入目标表中。

可选地，所述获取数据源，以导入数据库中的临时表，包括：读取外部数据源，对不同格式的数据源进行解析；将解析后的不同格式数据处理成数据库可读取的格式，以导入数据库中的临时表。

可选地，对执行相应操作的数据库中目标表进行校验，以判断数据加载是否正常。

可选地，所述读取所述分区数据对应数据源中预设的标示字段之前，还包括：缓存当前数据库的目标表文件大小；

所述对执行相应操作的数据库中目标表进行校验，包括：比对目标表执行相应操作前后的文件大小，如果执行相应操作后的目标表文件大小大于执行相应操作前的目标表文件大小则数据加载正常。

可选地，根据所述标示字段，将所述临时表中的数据写入目标表中，包括：如果所述标示字段为新增操作，则获取临时表中每条数据的主键，判断在目标表中是否有与临时表相同主键的数据；

如果没有与临时表相同主键的数据，则将临时表中的数据和目标表中数据进行合并，然后重写回目标表。

可选地，根据所述标示字段，将所述临时表中的数据写入目标表中，包括：如果所述标示字段为更新操作，则获取临时表中每条数据的主键，删除目标表中具有相同主键的数据；把临时表中的数据和目标表中数据进行合并，然后重写回目标表。

另外，根据本发明实施例的一个方面，提供了一种自动化加载数据的装置，包括导入模块，用于获取数据源，以导入数据库中的临时表；读取模块，用于读取所述临时表，如果存在预设时间内需要处理的分区数据，则读取所述分区数据对应数据源中预设的标示字段；执行模块，用于根据所述标示字段，将所述临时表中的数据写入目标表中。

可选地，所述导入模块获取数据源，以导入数据库中的临时表时，包括：读取外部数据源，对不同格式的数据源进行解析；将解析后的不同格式数据处理成数据库可读取的格式，以导入数据库中的临时表。