[发明专利]基于Spark Streaming的数据同步方法及系统

说明书

本申请涉及一种基于Spark Streaming的数据同步方法及系统，其中，该数据同步方法包括：增量数据获取步骤，用于基于Spark Streaming获取HBase增量数据并存储至一离散数据流DStream；数据规整化步骤，用于根据HBase的字段映射关系及其规整规则通过ETL处理所述离散数据流DStream中的数据，得到规整后数据；数据写入步骤，用于将所述规整后数据写入至HDFS对应目录中，实现数据同步。通过本申请的数据同步方法及系统，基于Spark Streaming数据流形式增量获取数据，处理数据量小，对HBase集群访问量较小；同时于Spark Streaming数据流准实时更新，处理速度快，耗时较短，实现了HBase数据库准实时增量同步，减少同步过程中数据量并提高工作效率。

技术领域

本申请涉及大数据技术领域，特别是涉及基于Spark Streaming的数据同步方法及系统。

背景技术

随着大数据技术的发展，越来越多的企业开始构建大数据平台进行数据处理。HBase数据库(Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC服务器上搭建起大规模结构化存储集群。HBase数据库中的数据可通过ETL(Extract-Transform-Load)同步数据，然而如何将保存在HBase数据库中的数据，快速ETL并同步到数据仓库Hive中，正成为很多企业面临的问题。

现有技术采用Phoenix将数据从HBase导出到HDFS，随后通过MapReduce或者Spark进行ETL，最终加载至Hive。或直接通过MapReduce或者Spark从HBase中读取数据并进行ETL，将结果输出到HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)，最终加载至Hive，通过Hive对HDFS上数据进行分析与管理。现有技术方案是每次都将Hbase汇总的数据进行全量读取，数据量过大，加大了集群的负担，并且耗时长，只能进行离线同步。因此，面对海量数据时，无论是MapReduce任务，还是Spark任务，都具有较高的延时，而且需要通过定时任务来达到自动化流程效果。

现有技术中尚未提出一种有效将HBase数据库中数据快速同步到Hive的解决方法。

发明内容

本申请实施例提供了一种基于Spark Streaming的数据同步方法及系统，SparkStreaming是Spark核心接口的扩展，Spark Streaming可以实现高吞吐量的、具备容错机制的实时流数据处理，本申请利用Spark Streaming实现HBase数据库准实时增量同步，减少同步过程中数据量并提高工作效率。

第一方面，本申请实施例提供了一种基于Spark Streaming的数据同步方法，包括：

增量数据获取步骤，用于基于Spark Streaming获取HBase增量数据并存储至一离散数据流DStream；

数据规整化步骤，用于根据HBase的字段映射关系及其规整规则通过ETL处理所述离散数据流DStream中的数据，得到规整后数据；

数据写入步骤，用于将所述规整后数据写入至HDFS对应目录中，实现数据同步。

通过上述步骤，本申请实施例采用基于Spark Streaming数据流形式增量获取数据，处理数据量小，对HBase集群访问量较小；同时于Spark Streaming数据流准实时更新，处理速度快，耗时较短。

在其中一些实施例中，所述增量数据获取步骤进一步包括：

创建数据接收器步骤，用于创建一用于查询HBase数据类的数据接收器HBaseReceiver，所述HBaseReceiver继承自Spark的Receiver类；