[发明专利]数据仓库增量更新方法、装置及计算机设备

说明书

本申请公开了一种数据仓库增量更新方法、装置及计算机设备，该方法包括：监测操作型数据存储层中是否产生新增数据文件；若产生新增数据文件，以流数据读取方式读取所述操作型数据存储层中新增数据文件对应的目标数据；根据预设的数据清洗规则对所述目标数据进行分类，得到对应的分类数据，所述分类数据至少包括一个类型数据；将每一类型数据的分类数数据分别存储到数据仓库中对应的类型数据的仓库分层。本申请还提供一种计算机可读存储介质。本申请通过流数据读取方式将操作型数据存储层的数据实时读取到数据仓库，实现了数据仓库增量更新，提升了数据仓库数据更新的灵活性和数据更新效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据仓库增量更新方法、装置及计算机设备。

背景技术

数据传输链路一般由数据源、网关、数据缓冲层、数据分发层和数据存储层构成。当数据源产生新数据时，该新数据会最终落地到数据存储层。数据存储层包括操作型数据存储(ODS，Operational Data Store)层、数据仓库(DW，Data Warehouse)层和应用数据存储(ADS，Application Data Store)层等。其中，数据源产生的新数据，也就是源数据，通常是先保存到操作型数据存储层；操作型数据存储层的源数据经由清洗和分类后写入到数据仓库层；根据用户的需要对数据仓库层的数据计算出对应的性能参数，则会存储到应用数据存储层。比如，先采集用户对于网站的访问数据存储到操作型数据存储层，接着对操作型数据存储层中的访问数据进行清洗，获得有效访问数据存储到数据仓库层，最后根据业务需要对数据仓库层的有效访问数据执行逻辑计算，得到网站的流量参数并存储到应用数据存储层中。

在现有技术中，一般通过Spark技术，比如Apache Spark，将操作型数据存储层的源数据经由清洗和分类后写入到数据仓库层。然而，Spark技术仅能实现对于批量数据的周期性更新，而且，设置的周期太短会导致操作型数据存储层数据的频繁操作，增加操作型数据存储层的负担，导致操作型数据存储层不稳定。也就是说，现有技术中数据仓库并不支持增量更新或者增量更新效率太低。

发明内容

本申请提出一种数据仓库增量更新方法、装置及计算机设备，能够解决上述的数据仓库并不支持增量更新或者增量更新效率太低的问题。

首先，为实现上述目的，本申请提供一种数据仓库增量更新方法，所述方法包括：

监测操作型数据存储层中是否产生新增数据文件；若产生新增数据文件，以流数据读取方式读取所述操作型数据存储层中新增数据文件对应的目标数据；根据预设的数据清洗规则对所述目标数据进行分类，得到对应的分类数据，所述分类数据至少包括一个类型数据；将每一类型数据的分类数数据分别存储到数据仓库中对应的类型数据的仓库分层。

在一个例子中，所述监测操作型数据存储层中是否产生新增数据文件包括：读取所述操作型数据存储层的当前文件目录信息；当所述当前文件目录信息与历史文件目录信息不同时，获取所述当前文件目录信息相对于历史文件目录信息的新增文件目录；查找出所述新增文件目录对应的所述新增数据文件，将所述当前文件目录信息替代所述历史文件目录信息。

在一个例子中，所述以流数据读取方式读取所述操作型数据存储层中新增数据文件对应的目标数据包括：从所述操作型数据存储层中获取所述新增数据文件的文件名；根据所述文件名从所述操作型数据存储层查找出所述新增数据文件对应的目标数据，并以流数据方式从所述操作型数据存储层拉取所述目标数据。

在一个例子中，所述以流数据读取方式读取所述操作型数据存储层中新增数据文件对应的目标数据包括：在读取成功/失败时，获取所述目标数据在所述新增数据文件中的排序位置；将所述排序位置记录到预设的状态器。

在一个例子中，所述获取所述目标数据在所述新增数据文件中的排序位置包括：抓取所述目标数据的快照信息；根据所述快照信息中所述目标数据的时间戳在所述新增数据文件中的时间区段确定所述目标数据在所述新增数据文件中的排序位置。