[发明专利]一种Storm分布式实时计算方法及系统

权利要求书

1.一种Storm分布式实时计算方法，其特征在于，所述Storm分布式实时计算方法，包括：

获取数据库日志，对数据库日志进行解析，获取行级别的变更数据，并将获取的变更数据按照统一的标准数据结构转换为标准数据；

将标准数据推送至消息中间件Kafka，将标准数据对应的数据库唯一标识和变更数据在数据库日志中的位置信息注册到Kafka的zookeeper组件中；

从消息中间件Kafka中读取所述标准数据，获取读取所述标准数据前后每个主题的偏移量，生成当前状态的快照信息，并保存到Kafka的zookeeper组件中；

对读取的标准数据执行Storm分布式实时计算，如果计算发生错误，则从Kafka的zookeeper组件中获取快照信息，并根据快照信息从Kafka中再次获取对应的标准数据，然后重新计算。

2.根据权利要求1所述的Storm分布式实时计算方法，其特征在于，所述获取数据库日志，包括：

将数据采集端模拟为所要采集的数据库的备份数据库，从所要采集的数据库接收数据库日志。

3.根据权利要求1所述的Storm分布式实时计算方法，其特征在于，所述标准数据结构包括数据库唯一标识、表名、操作类型、变更前后的数据值以及变更数据在数控库日志中的位置。

4.根据权利要求1所述的Storm分布式实时计算方法，其特征在于，所述Storm分布式实时计算方法，还包括：

如果数据采集端发生故障需要重新启动或者重新部署，启动后，从Kafka的zookeeper组件中获取到数据库唯一标识和变更数据的位置信息N，从数据库日志N+1位置处开始解析数据库日志。

5.根据权利要求1所述的Storm分布式实时计算方法，其特征在于，所述快照信息包括：

当前计算的数据库唯一标识、队列名称、读取前偏移量、读取后偏移量。

6.一种Storm分布式实时计算系统，其特征在于，所述Storm分布式实时计算系统，包括数据源、数据采集端、消息中间件Kafka和Storm分布式实时计算端，其中：

所述数据采集端，用于从数据源获取数据库日志，对数据库日志进行解析，获取行级别的变更数据，并将获取的变更数据按照统一的标准数据结构转换为标准数据；将标准数据推送至消息中间件Kafka，将标准数据对应的数据库唯一标识和变更数据在数据库日志中的位置信息注册到Kafka的zookeeper组件中；

所述Storm分布式实时计算端，用于从消息中间件Kafka中读取所述标准数据，获取读取所述标准数据前后每个主题的偏移量，生成当前状态的快照信息，并保存到Kafka的zookeeper组件中；对读取的标准数据执行Storm分布式实时计算，如果计算发生错误，则从Kafka的zookeeper组件中获取快照信息，并根据快照信息从Kafka中再次获取对应的标准数据，然后重新计算。

7.根据权利要求6所述的Storm分布式实时计算系统，其特征在于，所述数据采集端获取数据库日志，执行如下操作：

将数据采集端模拟为所要采集的数据库的备份数据库，从所要采集的数据库接收数据库日志。

8.根据权利要求6所述的Storm分布式实时计算系统，其特征在于，所述标准数据结构包括数据库唯一标识、表名、操作类型、变更前后的数据值以及变更数据在数控库日志中的位置。

9.根据权利要求6所述的Storm分布式实时计算系统，其特征在于，所述数据采集端，还执行如下操作：

如果数据采集端发生故障需要重新启动或者重新部署，启动后，从Kafka的zookeeper组件中获取到数据库唯一标识和变更数据的位置信息N，从数据库日志N+1位置处开始解析数据库日志。

10.根据权利要求6所述的Storm分布式实时计算系统，其特征在于，所述快照信息包括：

当前计算的数据库唯一标识、队列名称、读取前偏移量、读取后偏移量。