[发明专利]大数据环境下实现历史数据拉链表存储建模处理的系统及方法

权利要求书

1.一种大数据环境下实现历史数据拉链表存储建模处理的系统，其特征在于，所述的系统包括：

数据初始化模块，用于拉链表模型字段建模表结构定义和模型初始化；

数据正常拉链模块，与所述的数据初始化模块相连接，用于正常批量拉链表历史数据加载；

数据回算拉链模块，与所述的数据正常拉链模块相连接，用于回算已经发生的拉链表历史数据加载。

2.根据权利要求1所述的大数据环境下实现历史数据拉链表存储建模处理的系统，其特征在于，所述的数据初始化模块包括：

拉链表模型结构定义单元，用于对拉链表模型进行结构定义，修改拉链表模型；

拉链表模型初始化单元，与所述的拉链表模型结构定义单元相连接，用于通过读取配置指定的模型基础生成对应的拉链表接口表和拉链表历史表。

3.一种利用权利要求1所述的系统实现大数据环境下的历史数据拉链表存储建模处理的方法，其特征在于，所述的方法包括以下步骤：

(1)所述的数据初始化模块进行拉链表结构定义，初始化拉链表接口和拉链表历史表结构；

(2)判断当前批量日期是否未跑过批量，如果是，则继续步骤(3)；否则，继续步骤(4)；

(3)所述的数据正常拉链模块加载拉链表接口数据，并加载正常批量拉链表历史数据；

(4)所述的数据回算拉链模块加载拉链表接口数据，并回算已经发生的拉链表历史数据加载。

4.根据权利要求3所述的实现大数据环境下的历史数据拉链表存储建模处理的方法，其特征在于，所述的步骤(3)中包括拉链表历史数据正常加载数据存储的过程，具体包括以下步骤：

(3.1)创建当月对应的分区，增加当前最新数据分区；

(3.2)抽取新增或有变化的数据，将全量表中新增和修改的数据插入到拉链表中，写入M表；

(3.3)将主键相同、依赖增量不同的数据插入到目标中，写入N表；

(3.4)将M表中新增标记的数据写入Y表；

(3.5)删除拉链表中已经在Y表存在的记录；

(3.6)将N表中的记录写入目标拉链历史表。

5.根据权利要求3所述的实现大数据环境下的历史数据拉链表存储建模处理的方法，其特征在于，所述的步骤(4)中包括拉链表历史数据回算数据加载存储的过程，具体包括以下步骤：

(4.1)取出拉链表当前业务日期不同的数据写入M表，取出发生日期前一天之后的所有数据写入Y表；

(4.2)取出发生前一天数据写入M0表，取出发生后一天数据写入Y表；

(4.3)将主键与临时表相同的数据插入到临时表中写入N表，将原数据与新数据之间的差值写入V表，将处理新数据后半部分的数据写入M1表中；

(4.4)合并所有变化的数据写入A表；

(4.5)删除拉链表中在Y表中已经存在的记录；

(4.6)将A表数据写入拉链表历史表。