[发明专利]数据仓库的数据处理方法、装置、系统及存储介质

说明书

本申请提供一种数据仓库的数据处理方法、装置、系统及存储介质，该方法，包括：获取线上数据库的数据模型对应的操作日志；对所述操作日志进行解析，得到数据修改表；根据所述数据修改表，对数据仓库的数据模型进行修改，得到目标数据模型；根据所述目标数据模型，对线上数据库的数据进行存储操作。本申请可以根据线上数据库对其自身的数据模型的变更操作，自动执行对数据仓库的数据模型的更新，以实现数据仓库和线上数据库的适配，完成对线上数据的存储；整个过程无需人为干预，操作简单，效率高。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据仓库的数据处理方法、装置、系统及存储介质。

背景技术

随着数据处理量的不断增加，需要构建数据仓库对数据进行存储管理。一般，数据仓库都会对应着多个业务数据线，各个业务数据线从数据仓库中获取所需的业务数据。而数据仓库需要从线上数据库中抽取数据，若线上数据库的数据模型发生变更，则数据仓库的数据模型也要进行相应的变更。

目前，一般是通过配备专业的负责人进行数据仓库的维护，当线上数据库的数据模型发生变化时，由线上数据库的负责人向数据仓库的负责人发送变更请求，然后由数据仓库的负责人进行数据仓库的数据模型的变更操作。

但是，上述过程操作繁琐，需要耗费大量的人力，且容易引入错误操作，导致数据仓库不能进行正常的数据存储。

发明内容

本申请提供一种数据仓库的数据处理方法、装置、系统及存储介质，可以自动执行对数据仓库的数据模型的更新，以实现数据仓库和线上数据库的适配，完成对线上数据的存储；整个过程无需人为干预，操作简单，效率高。

第一方面，本申请实施例提供一种数据仓库的数据处理方法，包括：

获取线上数据库的数据模型对应的操作日志；

对所述操作日志进行解析，得到数据修改表；

根据所述数据修改表，对数据仓库的数据模型进行修改，得到目标数据模型；

根据所述目标数据模型，对线上数据库的数据进行存储操作。

在一种可能的设计中，所述获取线上数据库的数据模型对应的操作日志，包括：

当线上数据库的数据模型被修改时，获取所述线上数据库的数据模型对应的操作日志。

在一种可能的设计中，所述对所述操作日志进行解析，得到数据修改表，包括：

从所述操作日志中查找出所有执行语句；

根据所述执行语句，解析出针对所述线上数据库的数据模型的修改内容；

根据所述修改内容，确定数据修改表；其中，所述数据修改表中记录有针对线上数据库的数据模型的修改信息，所述修改信息包括：添加的字段信息、修改的字段类型、修改的主键名称。

在一种可能的设计中，在根据所述数据修改表，对数据仓库的数据模型进行修改之前，还包括：

对所述数据修改表进行校验。

在一种可能的设计中，对所述数据修改表进行校验，包括：

根据预设的校验要求，对所述数据修改表中的修改信息进行依次校验；其中，所述预设的校验要求包括以下任一或者任多：符合业务需求对应的修改规范、属于允许变更的数据类型、在允许修改的权限范围内；

若所有修改信息均满足所述预设的校验要求，则校验通过。

在一种可能的设计中，还包括：

若校验不通过，则拒绝对数据仓库的数据模型进行修改，并反馈修改失败提示信息。