[发明专利]分布式数据仓库中的数据更新方法和装置

权利要求书

1.一种分布式数据仓库中的数据更新方法，其特征在于，包括：

设置分布式数据处理平台中的分布式数据仓库的数据模型的初始版本号；

根据所述数据模型的初始版本号，设置所述分布式数据仓库中的原始数据表的初始版本号，其中，所述分布式数据仓库中的原始数据表中的数据与源系统升级前的源数据表中的数据一致；

在源系统的源数据表的升级过程中，从所述源系统中抓取对应的更新数据以及所述更新数据所属的源数据表的名称，确定所述源系统的升级类型和升级序号；

将抓取的所述更新数据输入所述数据模型，得到当前更新后的数据表；

根据所述更新数据所属的源数据表的名称，确定所述分布式数据仓库中对应的原始数据表的名称，作为所述当前更新后的数据表的名称；

根据所述数据模型的初始版本号以及所述升级序号，设置所述数据模型的当前版本号；

根据所述数据模型的当前版本号，以及所述源系统的升级类型，设置所述当前更新后的数据表的当前版本号。

2.根据权利要求1所述的方法，其特征在于，所述数据模型为层级数据模型；

设置所述数据模型的初始版本号，包括：

根据所述层级数据模型的层级名称，设置所述层级数据模型的初始版本号；

根据所述数据模型的初始版本号以及所述升级序号，设置所述数据模型的当前版本号，包括：

根据所述层级数据模型的初始版本号、所述升级序号以及所述层级名称，设置所述层级数据模型的当前版本号。

3.根据权利要求1所述的方法，其特征在于，所述数据模型为层级数据模型，依次包括：

维度数据层，用于从所述源系统中抓取所述升级过程关联的维度数据，并装载到所述维度数据层中新建的数据表中；

缓冲数据层，用于从所述源系统中抓取对应的更新数据，并装载到所述缓冲数据层中新建的数据表中；

基础数据层，用于从所述缓冲数据层获取所述更新数据，并装载到所述基础数据层中新建的数据表中；

通用数据层，用于按照业务主题，对所述基础数据层中的所述更新数据进行业务加工处理，得到所述更新数据对应的业务主题数据，并装载到所述通用数据层中新建的数据表中；

聚合数据层，用于对所述基础数据层中的所述更新数据或者所述通用数据层中的所述业务主题数据，根据所述维度数据进行聚合，并将聚合数据装载到所述聚合数据层中新建的数据表中。

4.根据权利要求3所述的方法，其特征在于，所述层级数据模型还包括：

临时数据层，用于存储所述通用数据层执行业务加工处理操作的中间数据，和/或所述聚合数据层执行聚合操作的中间数据。

5.根据权利要求1-4任一所述的方法，其特征在于，所述源系统的升级类型，包括下述至少一项：

源系统的业务升级、数据存储模式变更、数据库类型升级、数据表结构变更，以及数据表的数据含义变更。

6.一种分布式数据仓库中的数据更新装置，其特征在于，包括：

数据模型版本初始化模块，用于设置分布式数据处理平台中的分布式数据仓库的数据模型的初始版本号；

数据表版本初始化模块，用于根据所述数据模型的初始版本号，设置所述分布式数据仓库中的原始数据表的初始版本号，其中，所述分布式数据仓库中的原始数据表中的数据与源系统升级前的源数据表中的数据一致；

更新要素获取模块，用于在源系统的源数据表的升级过程中，从所述源系统中抓取对应的更新数据以及所述更新数据所属的源数据表的名称，确定所述源系统的升级类型和升级序号；

数据表更新模块，用于将抓取的所述更新数据输入所述数据模型，得到当前更新后的数据表；

数据表名称配置模块，用于根据所述更新数据所属的源数据表的名称，确定所述分布式数据仓库中对应的原始数据表的名称，作为所述当前更新后的数据表的名称；

数据模型版本配置模块，用于根据所述数据模型的初始版本号以及所述升级序号，设置所述数据模型的当前版本号；

数据表版本配置模块，用于根据所述数据模型的当前版本号，以及所述源系统的升级类型，设置所述当前更新后的数据表的当前版本号。