[发明专利]数据同步方法、装置、及存储介质、电子装置

说明书

本发明提供了一种数据同步方法、装置、及存储介质、电子装置，其中，该方法包括：利用ETL工具中指定数量的多个Job将不同数据来源的待同步数据表压缩为多个文本文件，其中，每个Job用于将对应的一个或多个数据来源的待同步数据表压缩为一个文本文件，指定数量等于登录SFTP服务器的并发链路的数量；利用每个Job将对应生成的文本文件通过对应的并发链路上传至SFTP服务器；在SFTP服务器中解压每个文本文件，得到每个文本文件中的待同步数据表；将同一数据来源的待同步数据表通过同一加载操作加载至目标Hive数据库对应的HDFS文件系统。通过本发明，解决了相关技术中将数据同步至Hive数据库的效率较低的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据同步方法、装置、及存储介质、电子装置。

背景技术

在将数据同步至Hive数据库的过程中，首先需要将数据上传至SFTP服务器，进而将SFTP服务器中的数据加载(load)至Hive数据库中。发明人发现，现有技术中通常按照数据表进行操作，而SFTP服务器每次只能上传一个文件，频繁上传会导致SFTP服务器认证失败，并在失败后继续尝试，影响文件上传效率。此外，在加载至Hive数据库中时，需要多次建立连接，耗时较大，严重影响数据加载速度。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种数据同步方法、装置、及存储介质、电子装置，以至少解决现有技术中将数据同步至Hive数据库的效率较低的技术问题。

根据本发明的一个实施例，提供了一种数据同步方法，包括：利用ETL工具中指定数量的多个Job将不同数据来源的待同步数据表压缩为多个文本文件，其中，每个Job用于将对应的一个或多个数据来源的待同步数据表压缩为一个文本文件，指定数量等于登录SFTP服务器的并发链路的数量；利用每个Job将对应生成的文本文件通过对应的并发链路上传至SFTP服务器；在SFTP服务器中解压每个文本文件，得到每个文本文件中的待同步数据表；将同一数据来源的待同步数据表通过同一加载操作加载至目标Hive数据库对应的HDFS文件系统。

进一步地，利用ETL工具中指定数量的多个Job将不同数据来源的待同步数据表压缩为多个文本文件，包括：获取并发链路的数量；根据并发链路的数量确定指定数量和划分方案；按照划分方案将不同数据来源的待同步数据表划分至指定数量的多个目录；利用ETL工具的每个Job对对应的目录进行压缩，得到多个文本文件。

进一步地，按照划分方案将不同数据来源的待同步数据表划分至指定数量的多个目录，包括：在目标数据来源的数据库中查询待同步数据；按照划分方案将查询到的待同步数据写入目标数据来源对应的目录中的待同步数据表；利用ETL工具的每个Job对对应的目录进行压缩，包括：在任一目录中的待同步数据表写入完毕的情况下，利用已写完的目录所对应的Job按预设压缩格式压缩目录，得到对应的文本文件。

进一步地，在SFTP服务器中解压每个文本文件，得到每个文本文件中的待同步数据表，包括：在任一文本文件上传至SFTP服务器中之后，按照目标解压方式解压对应的文本文件，得到对应的待同步数据表。

进一步地，将同一数据来源的待同步数据表通过同一加载操作加载至目标Hive数据库对应的HDFS文件系统，包括：在任一数据来源的待同步数据表解压完毕的情况下，建立SFTP服务器与HDFS文件系统的连接链路；利用建立的连接链路将对应数据来源的待同步数据表上传至HDFS文件系统。

进一步地，在利用建立的连接链路将对应数据来源的待同步数据表上传至HDFS文件系统之后，该方法还包括：在SFTP服务器中删除对应数据来源的待同步数据表。