[发明专利]一种拉链表生成方法、装置、设备及介质

说明书

本发明公开了一种拉链表生成方法、装置、设备及介质。该方法的步骤包括：读取数据仓库中的目标数据表在历史时刻下的历史数据记录对应的历史特征值；获取目标数据表在当前时刻下与历史数据记录对应的当前数据记录；将当前数据记录中各字段的数据内容拼接为第二字符串，并对第二字符串进行Hash算法运算生成当前特征值；判断历史特征值与当前特征值是否存在差异；如果是，则生成记录有历史数据记录的拉链表。本方法相对降低了拉链表生成过程中对集群设备的运算资源的整体占用，进而确保了大数据平台的整体运行稳定性并降低了运维压力。此外，本发明还提供一种拉链表生成装置、设备及介质，有益效果同上所述。

技术领域

本发明涉及数据库领域，特别是涉及一种拉链表生成方法、装置、设备及介质。

背景技术

随着大数据时代的到来，各大企业往往都需要搭建自身的大数据平台，而基于大数据平台之上的数据仓库是大数据平台下重要的应用之一。数据仓库，是为企业所有级别的决策制定过程提供所有类型数据支持的战略集合，该集合是面向主题的、集成的、时变的、非易失的。

由于在实际场景中，数据仓库的数据表内往往存储有海量条数据记录，数据表中数据记录的内容往往也会随着时间的推移而产生变化，而在对数据表的应用过程中，用户通常需要追溯之前某一时刻下数据表中的数据记录，因此就需要对不同历史时段下数据表中的数据记录进行存储。

为了避免全量存储数据表中的数据记录而对存储空间造成较大的浪费，当前往往通过拉链表的方式仅保存历史时段下数据表中发生变化的数据记录。拉链表的目的是保存数据表中数据记录从内容变化前，一直到当前状态的所有变化的信息，拉链表通常是对账户信息的历史变动内容进行保留的结果。当前生成拉链表时，往往需要获取到之前时刻的数据表与当前时刻的数据表，并比对之前时刻的数据表与当前时刻的数据表之间对应数据记录中各相应字段内的数据，进而当数据表在之前时刻与当前时刻下的某条数据记录发送内容变化时，将之前时刻下的该条数据记录保存至拉链表。由于当前在进行相邻时刻数据表之间对应数据记录的比对时，是逐个字段进行内容比对的，而在实际场景中，数据表中的数据记录所包含的字段往往较多，因此当前在进行相邻时刻数据表之间对应数据记录的比对时，需要占用集群设备大量的运算资源，难以确保大数据平台的整体运行稳定性，极易造成较大的运维压力。

由此可见，提供一种拉链表生成方法，以相对降低拉链表生成过程中对集群设备的运算资源的整体占用，进而确保大数据平台的整体运行稳定性并降低运维压力，是本领域技术人员需要解决的技术问题。

发明内容

本发明的目的是提供一种拉链表生成方法、装置、设备及介质，以相对降低拉链表生成过程中对集群设备的运算资源的整体占用，进而确保大数据平台的整体运行稳定性并降低运维压力。

为解决上述技术问题，本发明提供一种拉链表生成方法，包括：

读取数据仓库中的目标数据表在历史时刻下的历史数据记录对应的历史特征值；其中，历史特征值是通过预先将历史数据记录中各字段的数据内容拼接为第一字符串，并对第一字符串进行Hash算法运算生成的；

获取目标数据表在当前时刻下与历史数据记录对应的当前数据记录；

将当前数据记录中各字段的数据内容拼接为第二字符串，并对第二字符串进行Hash算法运算生成当前特征值；

判断历史特征值与当前特征值是否存在差异；

如果是，则生成记录有历史数据记录的拉链表。

优选的，读取数据仓库中的目标数据表在历史时刻下的历史数据记录对应的历史特征值，包括：

在预设的中间表中读取历史数据记录对应的历史特征值；其中，中间表基于目标数据表的字段增设有记录历史特征值的特征值字段。