[发明专利]数据仓库中的维度处理方法和装置

说明书

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据仓库中的维度处理方法和装置。

背景技术

数据仓库是一个单位或是一个应用领域的通用数据处理系统，它存储的是属于企业和事业部门、团体和个人的有关数据的集合。数据仓库中的数据是为众多用户所共享其信息而建立的，已经摆脱了具体程序的限制和制约。不同的用户可以按各自的用法使用数据仓库中的数据，多个用户可以同时共享数据仓库中的数据资源，即不同的用户可以同时存取数据仓库中的同一个数据。数据共享性不仅满足了各用户对信息内容的要求，同时也满足了各用户之间信息通信的要求。

现有技术中在数据仓库中生成快照维度表，都是将接收到的数据源先添加到历史维度表里，再根据历史维度表里的数据，更新快照维度表。要保证历史维度表和快照维度表都进行更新，各自维护自己的数据记录。此过程需要两次扫描历史维度表的记录，添加时去重一次，形成快照表时一次，并且还得连接相应的事实表，在历史维度表或事实表比较大时，但此操作方式处理速度慢、耗费大量的资源。

针对相关技术中在对历史维度表更新的情况下，快照维度表的更新速度慢的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种数据仓库中的维度处理方法和装置，以解决在对历史维度表更新的情况下，快照维度表的更新速度慢的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种数据仓库中的维度处理方法。

根据本发明的数据仓库中的维度处理方法包括：在数据仓库中存储有预先创建的第一维度表和预先创建的第二维度表，其中，第一维度表用于存储数据仓库中的所有历史数据，第二维度表用于根据第一维度表进行更新以存储第一维度表中最近一个维度处理时间周期的数据，方法包括：获取数据仓库的待更新数据；将待更新数据添加至第二维度表中以对第二维度表进行更新，并基于待更新数据对第一维度表进行更新。

进一步地，基于待更新数据对第一维度表进行更新包括：获取待更新数据；获取第三维度表，其中，第三维度表是将待更新数据添加至第二维度表中生成的维度表；将第三维度表添加至第一维度表对第一维度表进行更新。

进一步地，获取数据仓库的待更新数据包括：在数据仓库中查找数据源，其中，数据源存储在数据仓库中；对数据源进行去重处理，得到待更新数据。

进一步地，基于待更新数据对第一维度表进行更新包括：将待更新数据添加第一维度表；判断第一维度表是否存在唯一索引；在第一维度表存在唯一索引的情况下，判断唯一索引的属性是否是可忽略唯一值；在唯一索引属性是可忽略唯一值的情况下，数据仓库对第一维度表执行自动执行去重处理；在第一维度表不存在唯一索引的情况下或唯一索引属性不是可忽略唯一值的情况下，数据仓库通过加载预设的表数据对第一维度表执行去重处理；通过对第一维度表执行去重处理对第一维度表进行更新。

进一步地，获取数据仓库的待更新数据之前，方法还包括：获取第二维度表的代理键，其中，第二维度表的代理键包括多个数值；确定第二维度表的代理键中的最大数值；将第二维度表的代理键中的最大数值设置为第二维度表的种子；查找第一维度表的代理键，其中，第一维度表的代理键包括多个数值；确定第一维度表的代理键中的最大数值；将第一维度表的代理键中的最大数值设置为第一维度表的种子；判断第二维度表的代理键中的最大数值是否大于第一维度表的代理键中的最大数值；在第二维度表的代理键中最大数值大于第一维度表的代理键中最大数值的情况下，通过第二维度表种子设置第一维度表种子以使第一维度表和第二维度表种子相同；在第二维度表的代理键中最大数值小于第一维度表的代理键中最大数值的情况下，通过第一维度表种子设置第二维度表种子以使第二维度表和第一维度表种子相同；其中，基于待更新数据对第一维度表进行更新包括：在确定第二维度表的种子和第一维度表的种子相同之后，获取第四维度表，其中，将待更新数据添加至第二维度表中经过去重处理后，第二维度表中得到新添加的数据，第四维度表是用于存储第二维度表中新添加的数据的维度表；将第四维度表添加至第一维度表对第一维度表进行更新。