[发明专利]基于Spark Streaming的数据同步方法及系统

权利要求书

1.一种基于Spark Streaming的数据同步方法，其特征在于，包括：

增量数据获取步骤，用于基于Spark Streaming获取HBase增量数据并存储至一离散数据流DStream；

数据规整化步骤，用于根据HBase的字段映射关系及其规整规则通过ETL处理所述离散数据流DStream中的数据，得到规整后数据；

数据写入步骤，用于将所述规整后数据写入至HDFS对应目录中，实现数据同步。

2.根据权利要求1所述的基于Spark Streaming的数据同步方法，其特征在于，所述增量数据获取步骤进一步包括：

创建数据接收器步骤，用于创建一用于查询HBase数据类的数据接收器；

数据获取步骤，用于获取增量数据并存储所述增量数据至所述离散数据流DStream。

3.根据权利要求2所述的基于Spark Streaming的数据同步方法，其特征在于，所述数据写入步骤进一步包括：

单目录数据输出步骤，用于通过创建一数据输出类将规整后数据写入到对应目录中；

多目录数据输出步骤，用于通过创建一多目录数据输出类将规整后数据写入到对应的多个目录中。

4.根据权利要求1所述的基于Spark Streaming的数据同步方法，其特征在于，所述增量数据获取步骤基于一作业限流规则获取HBase获取增量数据，所述作业限流规则设定一最大提取条数，若当前需提取数据条数大于所述最大提取条数，则超过所述最大提取条数的数据延时一设定时间后再提取。

5.根据权利要求4所述的基于Spark Streaming的数据同步方法，其特征在于，所述增量数据获取步骤中，设定所述数据接收器的启动时间间隔和Spark的窗口滑动时间间隔，其中，所述启动时间间隔小于所述窗口滑动时间间隔。

6.一种基于Spark Streaming的数据同步系统，其特征在于，包括：

增量数据获取模块，用于基于Spark Streaming获取HBase增量数据并存储至一离散数据流DStream；

数据规整化模块，用于根据HBase的字段映射关系及其规整规则通过ETL处理所述离散数据流DStream中的数据，得到规整后数据；

数据写入模块，用于将所述规整后数据写入至HDFS对应目录中，实现数据同步。

7.根据权利要求6所述的基于Spark Streaming的数据同步系统，其特征在于，所述增量数据获取模块进一步包括：

创建数据接收器模块，用于创建一用于查询HBase数据类的数据接收器；

数据获取模块，用于获取增量数据并存储所述增量数据至所述离散数据流DStream。

8.根据权利要求7所述的基于Spark Streaming的数据同步系统，其特征在于，所述数据写入模块进一步包括：

单目录数据输出模块，用于通过创建一数据输出类将规整后数据写入到对应目录中；

多目录数据输出模块，用于通过创建一多目录数据输出类将规整后数据写入到对应的多个目录中。

9.根据权利要求6所述的基于Spark Streaming的数据同步系统，其特征在于，所述增量数据获取模块基于一作业限流规则获取HBase获取增量数据，所述作业限流规则设定一最大提取条数，若当前需提取数据条数大于所述最大提取条数，则超过所述最大提取条数的数据延时一设定时间后再提取。

10.根据权利要求9所述的基于Spark Streaming的数据同步系统，其特征在于，所述增量数据获取模块中，设定所述数据接收器的启动时间间隔和Spark的窗口滑动时间间隔，其中，所述启动时间间隔小于所述窗口滑动时间间隔。