[发明专利]一种解决大数据系统中历史数据变化的方法

权利要求书

1.一种解决大数据系统中历史数据变化的方法，其特征在于，包括如下步骤：

(1)业务数据全部存储在mysql数据库，每张业务表都设置有更新时间字段，用于标注字段的更新时间，只要业务系统更新数据库表格，对应数据条目的更新时间字段就会修改成当时的时间；

(2)操作型数据存储ODS层数据表每天凌晨执行一次任务，首先检查所有业务表的更新时间字段，若更新时间是落在前一天，则将业务表数据一模一样拷贝一份，生成一条操作型数据存储ODS层数据，因此操作型数据存储ODS层数据表中存储的相当于是原业务数据库每条数据的历史版本；

(3)生成拉链表任务在操作型数据存储ODS层数据表任务执行完成后开始，通过spark大数据计算引擎任务，拉链表模块检查所有操作型数据存储ODS层数据最新的一条记录与各自对应的上一时间的记录进行对比，若最新的记录与各自对应的上一时间的记录有变化，则将ODS层数据表该天有变化这一事件记录到变化通知表；

(4)拉链表任务结束后，执行生成业务日表的任务；该任务检查变化通知表，根据变化的表以及变化的日期，执行相应的任务单元，从而刷新之前生成的业务日表数据。

2.如权利要求1所述的一种解决大数据系统中历史数据变化的方法，其特征在于，步骤(2)中，操作型数据存储ODS层数据存储在Hive数据库中。

3.如权利要求1所述的一种解决大数据系统中历史数据变化的方法，其特征在于，步骤(4)中，生成业务日表，适用于后续业务查询维度包括“天、月、年”的各种维度，按日表记录，就可以对上层前端展示提供灵活的支持。