[发明专利]非常大数据库上的数据处理

说明书

背景

联网和计算技术的进步使得计算机从能够执行基本文字处理和执行基本 数学计算的低性能/高成本设备转变成能够执行无数不同功能的高性能/低成本 机器。例如，可采用消费级计算设备来协助用户支付帐单、跟踪花费、经由电 子邮件或即时消息收发跨远距离与朋友或家人近乎瞬时地通信、从网络化数据 储存库获取信息以及各种其它功能/活动。计算机及与之相关联的外设因此成为 现代社会的螺丝钉，用于个人和企业活动两者。

另外，电子存储机制使得个人和/或公司能积累大量数据。例如，以往需 要数卷书本来记录的数据现在可在无需印刷纸张的花费的情况下电子地存储， 且仅占用存储纸张所需的物理空间的一小部分。在一个具体示例中，以往用纸 张卷记录的契约和抵押单据现在可被电子地存储。而且，传感器和其他电子机 制的进步现在使得能够收集和存储大量数据。例如，GPS系统可经由卫星和 GPS接收器来确定个人或实体的位置，且与之连接的电子存储设备则可用来保 持与这样的系统相关联的位置。也可利用各种其他传感器和数据收集设备来获 取和存储数据。

某些商业模型很大程度上依赖于其处理极大量数据的能力。例如，搜索引 擎可收集关于数百万用户的大量数据，诸如年龄、人口统计信息等。在另一示 例中，跟踪股市变化的数据库可与大量数据相关联，尤其当这样的跟踪是以粒 度方式进行时。如果人们期望从该数据集合中检索特定的一个或多个条目，则 他们可生成采用特定数据库查询语言的查询，且数据根据该查询被组织并从数 据库中提取。

当存在小量数据时，诸如在电子表应用程序中，该数据处理可相当快速地 进行。然而当数据量变为相当大(例如，几千吉字节)时，处理这样的数据在 计算上是昂贵的，且需要大量时间。减少处理时间的一种常规方式涉及选择数 据的样本集并对这一样本集执行处理，其中样本集的大小可取决于处理这一样 本集所需的时间量。尽管这减少了处理时间，但准确性将受到损害，尤其是在 数据挖掘应用中。另一种可用方式是减少功能，从而减少处理大量数据所需的 计算资源。

概述

以下呈现了简化的概述，以提供所要求保护的主题的某些方面的基本理 解。该概述不是详尽的概观，它不旨在标识所要求保护的主题的关键/重要的元 素也不旨在描绘其范围。其唯一的目的是以简化的形式来介绍一些概念，作为 稍后提出的更为详细的描述的序言。

所要求保护的主题一般涉及准备非常大量的数据(例如，在千吉字节数据 的数量级)供分析处理，诸如数据挖掘应用。为了使得这样的处理能用高效(且 相对不昂贵)的方式进行，商品计算设备被分层地安排，且处理任务在这些计 算设备之间拆分。更详细地，客户端可向担当主节点的计算节点(可以是计算 机、计算机的一部分…)提供SQL查询，其中主节点分析SQL查询并确定与 SQL查询相关的多个任务(即，“组成”该SQL查询)。SQL查询可以是与一 个或多个用户相关联的预定义查询，或是其中期望对特定SQL查询的使用的 其他主题。

一旦主节点确定了任务，这些任务即可被放置在与该主节点相关联的队列 中，并被提供给多个聚类节点(屈从于主节点的节点)。例如，任务可被分派 给特定的聚类节点和/或聚类节点可请求某些任务。更详细地，聚类节点可与某 些任务被设计成对其执行的数据分区相关联。在一示例中，当从web服务器加 载数据之后，可利用一个或多个分拣算法将特定的数据分区分派给某些聚类节 点，其中聚类节点请求和/或被分派与数据分区相关的特定任务。因此，与常规 系统/方法相比，任务可由聚类节点方便得多地执行。

另外，聚类节点可担当对于其他聚类节点的主节点。例如，一聚类节点可 从主节点接收任务，且这一聚类节点可基于所接收的任务确定多个子任务。这 些子任务然后可根据与之相关联的数据分区被提供给子聚类节点。子聚类可请 求保存在“父”聚类节点的队列内的某些任务和/或可被分派来自“父”聚类节点 的任务。如前所述，可利用不可靠或单向消息收发来实现聚类节点之间、聚类 节点和子聚类节点之间以及子聚类节点之间的通信。

为实现上述及相关目的，本文结合下面的描述和附图描述某些说明性方 面。然而，这些方面仅指示了可采用所要求保护的主题的原理的各种方法中的 几种，且本主题旨在包括所有这些方面及其等效方面。当结合附图阅读以下详 细描述时，本发明的其他优点和新颖特征将变得清楚。

附图简述