[发明专利]一种大数据分层数据存储下的数据预热读取方法

权利要求书

1.一种大数据分层数据存储下的数据预热读取方法，其特征在于，包含以下步骤：

对迁移同步工具CloudCanal的接口进行调用，创建关系型数据库RDS到消息队列服务Kafka的同步链路，并将所述关系型数据库RDS中的数据变更日志发送至消息队列服务Kafka；

通过调用流处理框架Flink，实时消费消息队列服务Kafka的数据并写入开源数据库Hbase中，所述开源数据库Hbase为分布式的列式存储方案；

业务系统发起数据读取，将业务系统数据读取按读取时间与当前时间进行比较，若在预设时间段内，则直接获取热数据层数据，若超出所述预设时间段，则执行数据预热获取步骤；

执行所述数据预热获取步骤，包括：发消息至缓存数据系统，并返回业务系统“处理中”的数据标志位，由数据缓存系统发送数据查询请求至开源数据库Hbase，通过开源数据库Hbase获取数据并写入本地缓存以完成数据预加热，发送异步通知至业务系统以触发业务系统重新发起数据读取，获取所需数据。

2.根据权利要求1所述的一种大数据分层数据存储下的数据预热读取方法，其特征在于，所述业务系统包括冷数据层、缓存数据系统以及热数据层；

所述热数据层中存储小于预设时间段的数据，用于被业务系统直接读取；

所述冷数据层用于存储超出预设时间段的数据；

所述缓存数据系统用于响应用户对超出所述预设时间段数据的读取需求，并存储预加热的所述数据。

3.根据权利要求2所述的一种大数据分层数据存储下的数据预热读取方法，其特征在于，一种大数据分层数据存储下的数据预热读取方法，其特征在于，还包括步骤：

将关系型数据库管理系统mysql的binlog日志传入消息队列服务Kafka，生成消息，再调用流处理框架Flink的接口，完成消费消息队列服务Kafka消息，并写入开源数据库Hbase的操作。

4.根据权利要求1所述的一种大数据分层数据存储下的数据预热读取方法，其特征在于，所述迁移同步工具CloudCanal通过消费源端数据源增量操作日志，实时在对端数据源重放，以达到数据同步目的，所述迁移同步工具CloudCanal支持多种数据源，具备断点续传、DDL同步、边同步边校验、对端事务保持、高性能对端写入、数据条件过滤能力。

5.根据权利要求1所述的一种大数据分层数据存储下的数据预热读取方法，其特征在于，所述消息队列服务Kafka为高吞吐量、高扩展性的分布式消息队列服务类型，用于处理动作流数据。