[发明专利]多集群协同数据处理方法、系统、存储介质及设备

说明书

本发明提供了一种多集群协同数据处理方法、系统、存储介质及设备，该方法包括：接收采集数据，并将采集数据转化为结构化数据；在Hadoop集群上构建基础数据共享区，并将结构化数据加载至基础数据共享区；根据数据使用场景，利用Hadoop集群、Hadoop联机处理集群及多个分布式数据库集群协同处理基础数据共享区的数据，以提供相应的数据服务，并完成数据处理流程。本发明通过构建基础数据共享区能够减少数据冗余。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种多集群协同数据处理方法、系统、存储介质及设备。

背景技术

近年来，随着大数据时代的来临，越来越多企业认识到数据的价值，并希望通过数据分析与数据挖掘指导其企业的经营决策。在这些需求的促使之下，出现了适用于各个场景的大数据处理技术，其中，以Hadoop技术为代表的技术生态圈和采用大规模并行处理(Massively Parallel Process，简称为MPP)架构的分布式数据库技术最具代表性。采用share nothing架构，每个节点使用独立本地资源，数据一般按照分布键Hash分布，通过网络实现节点间的数据交换，以达到系统线性扩展，高效处理PB级数据。

虽然丰富的技术组件以及蓬勃发展的技术为我们提供了更加多样的选择，但是这些多样性和差异性却对如何构建企业级的大数据处理架构等方面的技术提出了新的挑战。

当前主要面临的问题有：

1.单一技术构建的集群往往存在局限性，表现为一类技术通常无法满足所有业务场景，例如，采用Hadoop技术集群能够实现批量数据处理，但难以满足复杂模型计算和交互式数据查询的需求。

2.多种技术构建的集群间系统虽然能够满足不同场景的应用，但存在基础数据冗余存储、数据不一致等问题。并且，异构集群间的数据传输，通常需要通过将数据导出成文件以后，再传输到其他集群中数据库，形成两次落地，数据交换效率低下。

发明内容

本发明实施例提供了一种多集群协同数据处理方法，以克服单一技术构建的集群应对业务场景服务的局限性，以及多种异构系统间数据冗余及数据交换效率不高的问题。该多集群协同数据处理方法，包括：接收采集数据，并将采集数据转化为结构化数据；在Hadoop集群上构建基础数据共享区，并将结构化数据加载至基础数据共享区；根据数据使用场景，利用Hadoop集群、Hadoop联机处理集群及多个分布式数据库集群协同处理基础数据共享区的数据，以提供相应的数据服务，并完成数据处理流程。

本发明实施例还提供了一种多集群协同数据处理系统，以克服单一技术构建的集群应对业务场景服务的局限性，以及多种异构系统间数据冗余及数据交换效率不高的问题。该多集群协同数据处理系统，包括：数据接收单元，用于：接收采集数据，并将采集数据转化为结构化数据；数据加载合并单元，用于：在Hadoop集群上构建基础数据共享区，并将结构化数据加载至基础数据共享区；批量数据处理单元，用于：根据数据使用场景，利用Hadoop集群、Hadoop联机处理集群及多个分布式数据库集群协同处理基础数据共享区的数据，以提供相应的数据服务，并完成数据处理流程。

本发明实施例还提供了一种计算机可读存储介质，以克服单一技术构建的集群应对业务场景服务的局限性，以及多种异构系统间数据冗余及数据交换效率不高的问题。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述各实施例所述方法的步骤。

本发明实施例还提供了一种计算机设备，该计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各实施例所述方法的步骤。