[发明专利]灵活的分布式大规模并行处理(MPP)系统和方法

说明书

一种大规模并行处理的实施例方法，包括：在初始机上发起管理实例，所述管理实例生成与所述初始机对应的初始分区；确定处理数据库所需的分区总数，所述分区总数包括所述初始分区；确定处理所述数据库的可用的额外机器的数量；将所述初始机与所述额外机器一起分组到一个网荚；在所述网荚的额外机器上启动所述管理实例以生成所述数据库所需的分区总数。本发明还公开了其他实施例方法及一种可执行这些方法的实施例系统。

相关申请案交叉申请

本发明要求由Yuan Dai等人于2012年10月16日递交的发明名称为“灵活的分布式大规模并行处理(MPP)系统和方法”的第13/653,308号美国专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文。

技术领域

本发明涉及一种大规模并行处理(MPP)数据库管理系统，以及在特定实施例中，涉及一种能将数据库分区数与固定处理器数分离的管理系统。

背景技术

大规模并行处理(MPP)的概念是指多个处理器对一个程序的协调处理，其中每个处理器处理所述程序的不同部分。每个处理器使用自身的操作系统与内存资源，各处理器之间互相通信以完成任务。

MPP数据库系统基于无共享架构，数据库表划分成多个部分，并分配至不同的处理节点。处理节点间无数据共享。当数据库查询到达时，每条查询的任务会进行划分，并根据数据分配计划与优化的执行计划将其分配给其中的一个处理节点。每个处理节点中的处理实体只管理各自的一部分数据。但是，这些处理实体在执行工作时可互相通信以交换必要的信息。每条查询可拆分成多个子查询，这些子查询可以在部分或所有处理节点上并行执行或以最佳顺序执行。子查询结果可以汇聚以进行进一步的处理，其后可根据该结果执行更多的子查询。

建立分布式系统一直是MPP数据库系统面临的一个挑战，它包括：配置机器、创建数据库、划分数据表以及分发数据段。数据如何分发以及分发在多大程度上与业务逻辑保持一致在很大程度上决定了系统的整体性能。

传统的MPP数据库系统允许数据库管理员创建数据库并分发自身的数据(即创建数据库分区)给固定数量的已提前建立的处理器。不巧的是，数据库管理员可以创建的分区数是固定的，并且直接对应于所述传统MMP数据库系统中可用的处理器的数量。也就是说，分区数和处理器数总是相同的。如果需要额外的分区，必须重复建立实例和分区的完整过程。

发明内容

一种大规模并行处理的实施例方法，包括：在初始机上发起管理实例，所述管理实例生成与所述初始机对应的初始分区；确定处理数据库所需的分区总数，所述分区总数包括所述初始分区；确定可用的处理所述数据库的额外机器的数量；将所述初始机与所述额外机器一起分组到一个网荚；在所述网荚的所述额外机器上启动管理实例以生成所述数据库所需的分区总数。

一种大规模并行处理的实施例方法，包括：在初始机上发起管理实例，所述管理实例生成与所述初始机对应的初始分区；确定处理数据库所需的分区总数，所述分区总数包括所述初始分区；确定处理所述数据库的可用的额外机器的数量，所述额外机器和所述初始机的总和小于所需的分区总数；将所述初始机与所述额外机器一起分组到一个网荚；在所述网荚的额外机器上启动管理实例以生成所述数据库所需的分区总数。

一种大规模并行处理实施例系统，包括：网荚中的初始机，所述初始机运行与用于处理数据库的初始分区对应的管理实例；所述网荚中的额外机器，所述额外机器运行用于处理所述数据库的两个管理实例，每个所述管理实例对应一个额外分区。

附图说明

为了更全面地理解本发明及其优点，请参考下文结合附图进行的描述，其中：

图1示出了用于联机分析处理(OLAP)的大规模并行处理(MPP)数据库系统的结构；

图2示出了用于联机事务处理(OLTP)的MPP数据库系统的结构；