[发明专利]数据实时更新方法、装置及计算机可读存储介质

说明书

本发明涉及一种大数据技术，揭露了一种数据实时更新方法，包括：获取客户端的数据集，通过预先构建的宽表对所述客户端的数据集进行解析处理，得到源数据集；利用数据复制技术将所述源数据集复制到预先构建的实时数据仓库中；对所述实时数据仓库中的源数据集进行汇总处理，并将汇总处理后的所述源数据集进行分析处理，得到目标数据集；利用任务调度对所述目标数据集进行定时更新操作，完成所述目标数据集的实时更新，并将实时更新后的所述目标数据集存入所述实时数据仓库中。本发明还提出一种数据实时更新装置以及一种计算机可读存储介质。本发明实现了数据的实时更新。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据实时更新方法、装置及计算机可读存储介质。

背景技术

随着信息技术的不断发展，海量数据的不断涌现，企业迫切需要高效、精确、科学的分析数据。由于传统数据仓库的数据更新一般是每天、每周或是每个月更新一次，意味着它的数据不是最新的。然而，对于电子商业、股票经济、在线通讯以及决策系统等信息，需要及时的将数据发送到企业管理人员，最新的数据信息可以帮助所述企业管理人员作出更加精确的战略部署。目前行业内通过使用Hadoop(分布式存储)+Spark/Flink(分布式计算)+Oozie(分布式任务调度)的技术对数据实时进行更新处理，所采用的解决方案均为开源软件，技术尚不成熟，架构复杂，数据准确性低，并且人工运维成本极高。

发明内容

本发明提供一种数据实时更新方法、装置及计算机可读存储介质，其主要目的在于实现高效的数据实时更新的效果。

为实现上述目的，本发明提供的一种数据实时更新方法，包括：

获取客户端的数据集，通过预先构建的宽表对所述客户端的数据集进行解析处理，得到源数据集；

利用数据复制技术将所述源数据集复制到预先构建的实时数据仓库中；

对所述实时数据仓库中的源数据集进行汇总处理，并将汇总处理后的所述源数据集进行分析处理，得到目标数据集；

利用任务调度对所述目标数据集进行定时更新操作，完成所述目标数据集的实时更新，并将实时更新后的所述目标数据集存入所述实时数据仓库中。

可选地，所述预先构建的宽表包括table_a和table_b两个样例宽表，以及所述解析处理包括；

在所述table_a样例宽表中输入所述数据集的第一客户端数据集；

在所述table_b样例宽表中输入所述数据集的第二客户端数据集；

根据所述table_a样例宽表和table_b样例宽表中包含的相同的字段，对所述table_a和table_b两个样例宽表进行合并，完成所述解析处理。

可选地，所述实时数据仓库包括数据存储模块和实时计算处理模块；

所述数据存储模块对所述实时数据仓库中的源数据集进行汇总处理，其中，所述数据存储模块包括明细宽表层和汇总数据层；

所述实时计算模块对汇总处理后的所述源数据集进行分析处理，其中所述实时计算模块包括联机分析处理层和应用数据层。

可选地，所述对所述实时数据仓库中的源数据集进行汇总处理，包括：

通过数据仓库技术将所述实时数据仓库的源数据集传递至所述数据存储模块的明细宽表层中，对所述明细宽表层的源数据集进行萃取、转置以及加载的预处理操作，将所述预处理后的所述源数据存入所述汇总数据层中，完成所述源数据集的汇总处理。

可选地，所述利用任务调度对所述目标数据集进行定时更新操作，包括：

调用所述任务调度中的存储任务队列，根据用户的需求将所述目标数据集中需要进行更新的目标数据加入到所述存储任务队列中；