[发明专利]一种数据管理平台、方法及电子设备

说明书

本发明公开了一种数据管理平台、方法及电子设备，所述平台包括：数据字典模块，用于从不同存储源中获取数据并将该数据写入指定数据库中，当存储源数据与指定数据库数据存在不一致的数据时，向数据字典操作模块发送第一同步指令；数据字典操作模块，用于响应第一同步指令，将不一致的数据同步更新至指定数据库。通过对比存储源数据与指定数据库数据，当存储源数据与指定数据库数据存在不一致的数据时，将不一致的数据同步更新至指定数据库，提高数据时效性。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据管理平台、方法、电子设备及计算机可读介质。

背景技术

数据管理平台可以同时提供对业务的数据支撑和对数据组内部的开发交付协助。现有数据管理平台并不能统一各个存储源的数据，而且数据更新需要先定时删除旧数据，再全量插入新数据，一是在删除-插入期间会有一段数据空白期，导致前端用户在数据空白期内无法查询到任何数据。二是每天做全量的源数据解析和更新，会拖长整个数据链路的时长，并且导致不必要的服务器资源消耗，造成数据时效性差的问题。

发明内容

本发明旨在解决现有数据管理平台不能统一各个存储源的数据，数据时效性差的技术问题。

为了解决上述技术问题，本发明第一方面提出一种数据管理平台，所述平台包括：数据字典模块，与所述数据字典模块相连的数据字典表操作模块；其中：

数据字典模块，用于从不同存储源中获取数据并将该数据写入指定数据库中，当存储源数据与指定数据库数据存在不一致的数据时，向数据字典操作模块发送第一同步指令；

数据字典操作模块，用于响应第一同步指令，将不一致的数据同步更新至指定数据库。

根据本发明一种优选实施方式，所述数据字典模块包括：依次连接的数据获取模块和数据对比模块，其中：

数据获取模块，用于从不同的存储源中获取数据并实时向数据字典操作模块发送第二同步指令，以便数据字典操作模块响应第二同步指令，将不同存储源的数据分类同步写入指定数据库；

数据对比模块，用于定时对比各个存储源数据与指定数据库数据，当存储源数据与指定数据库数据存在不一致的数据时，向所述数据字典操作模块发送第一同步指令，以便数据字典操作模块响应第一同步指令，将不一致的数据同步更新至指定数据库。

根据本发明一种优选实施方式，当存储源数据比指定数据库数据有新增数据时，所述数据对比模块向数据获取模块发送数据获取指令，以便数据获取模块从目标存储源中获取新增数据，并向数据字典操作模块发送第一正同步指令，以便数据字典操作模块将新增数据同步写入指定数据库；当存储源数据比指定数据库数据有删除数据时，所述数据对比模块向数据字典操作模块发送第一负同步指令，以便数据字典操作模块将删除数据同步从指定数据库中删除。

根据本发明一种优选实施方式，所述数据对比模块，还用于间隔预定时间查询用户对各个存储源数据的操作，向数据字典操作模块发送同步指令，以便数据字典操作模块将预设时间内用户对存储源数据的操作同步到指定数据库。

根据本发明一种优选实施方式，所述数据获取模块包括：

数仓模块，用于获取并解析数据仓库中的数据，并实时向数据字典操作模块发送第二同步指令；

第三方数据模块，用于获取第三方存储源数据，并实时向数据字典操作模块发送第二同步指令；

操作数据存储层数据模块，用于获取操作数据存储层的多种数据源数据以及操作数据存储层的特征数据项数据，并实时向数据字典操作模块发送第二同步指令。

根据本发明一种优选实施方式，所述数据字典操作模块，响应第二同步指令，根据存储源将待写入的数据分类，并将分类后的数据同步写入指定数据库。

根据本发明一种优选实施方式，所述数据管理平台还包括：