[发明专利]数据仓库增量更新方法、装置及计算机设备

权利要求书

1.一种数据仓库增量更新方法，其特征在于，所述方法包括：

监测操作型数据存储层中是否产生新增数据文件；

若产生新增数据文件，以流数据读取方式读取所述操作型数据存储层中新增数据文件对应的目标数据；

根据预设的数据清洗规则对所述目标数据进行分类，得到对应的分类数据，所述分类数据至少包括一个类型数据；

将每一类型数据的分类数数据分别存储到数据仓库中对应的类型数据的仓库分层；

其中，所述以流数据读取方式读取所述操作型数据存储层中新增数据文件对应的目标数据包括：在读取成功或失败时，获取所述目标数据在所述新增数据文件中的排序位置；将所述排序位置记录到预设的状态器；

其中，在以流数据读取方式读取的过程中，所述方法还包括：在通过读取器在开始读取新数据，以及完成读取新数据的状态，通过读取器向任务管理器发送对应的状态，所述对应的状态包括空闲状态和/或读取状态；通过文件资源监视器中的调度中心根据所述任务管理器反馈的空闲读取器，将新数据文件经分发至所述空闲读取器，以读取操作HDFS中的新数据。

2.如权利要求1所述的数据仓库增量更新方法，其特征在于，所述监测操作型数据存储层中是否产生新增数据文件包括：

读取所述操作型数据存储层的当前文件目录信息；

当所述当前文件目录信息与历史文件目录信息不同时，获取所述当前文件目录信息相对于历史文件目录信息的新增文件目录；

查找出所述新增文件目录对应的所述新增数据文件，将所述当前文件目录信息替代所述历史文件目录信息。

3.如权利要求1所述的数据仓库增量更新方法，其特征在于，所述以流数据读取方式读取所述操作型数据存储层中新增数据文件对应的目标数据包括：

从所述操作型数据存储层中获取所述新增数据文件的文件名；

根据所述文件名从所述操作型数据存储层查找出所述新增数据文件对应的目标数据，并以流数据方式从所述操作型数据存储层拉取所述目标数据。

4.如权利要求3所述的数据仓库增量更新方法，其特征在于，所述获取所述目标数据在所述新增数据文件中的排序位置包括：

抓取所述目标数据的快照信息；

根据所述快照信息中所述目标数据的时间戳在所述新增数据文件中的时间区段确定所述目标数据在所述新增数据文件中的排序位置。

5.如权利要求1所述的数据仓库增量更新方法，其特征在于，所述方法还包括：

当读取到所述新增数据文件中的分区结束消息时，结束流数据读取进程；其中，所述分区结束消息是所述新增数据文件成功存储到所述操作型数据存储层时添加到所述新增数据文件的末尾数据。

6.如权利要求5所述的数据仓库增量更新方法，其特征在于，所述结束流数据读取进程包括：

以读取到所述分区结束消息的时间生成一条时间水印；

将所述时间水印记录为所述数据仓库的数据更新时间。

7.一种数据仓库增量更新装置，其特征在于，所述装置包括：

监测模块，用于监测操作型数据存储层中是否产生新增数据文件；

读取模块，用于在监测到产生新增数据文件时，以流数据读取方式读取所述操作型数据存储层中新增数据文件对应的目标数据；

其中，所述读取模块还用于：在读取成功或失败时，获取所述目标数据在所述新增数据文件中的排序位置；将所述排序位置记录到预设的状态器；在以流数据读取方式读取的过程中，在通过读取器在开始读取新数据，以及完成读取新数据的状态，通过读取器向任务管理器发送对应的状态，所述对应的状态包括空闲状态和/或读取状态；通过文件资源监视器中的调度中心根据所述任务管理器反馈的空闲读取器，将新数据文件经分发至所述空闲读取器，以读取操作HDFS中的新数据；

分类模块，用于根据预设的数据清洗规则对所述目标数据进行分类，得到对应的分类数据，所述分类数据至少包括一个类型数据；

存储模块，用于将每一类型数据的分类数数据分别存储到数据仓库中对应的类型数据的仓库分层。