[发明专利]非常大数据库上的数据处理

权利要求书

1.一种便于数据处理的系统，包括：

接收SQL查询的接收器组件(102)；以及

将所述SQL查询划分成多个任务并将所述任务提供给多个聚类节点以便 处理的划分组件(104)。

2.如权利要求1所述的系统，其特征在于，还包括聚集从所述聚类接收到 的经处理数据的聚集组件。

3.如权利要求1所述的系统，其特征在于，还包括如果数据到所述系统的 加载失败则启动数据到已知良好状态的回退的回退组件。

4.如权利要求1所述的系统，其特征在于，所述聚类节点的子集担当从 web服务器读取web日志并将所述web日志的子集提供给特定聚类节点的读取 者节点，所述特定聚类节点担当写入者节点并按照合适的形式格式化所述数据 以便查询。

5.如权利要求1所述的系统，其特征在于，还包括监视所述多个聚类节 点以确保所述多个任务正被执行的监视组件。

6.如权利要求1所述的系统，其特征在于，所述多个聚类节点包括子聚类 节点的分层安排。

7.如权利要求1所述的系统，其特征在于，在所述划分组件和所述多个聚 类节点之间进行不可靠的通信。

8.如权利要求1所述的系统，其特征在于，所述聚类节点经由不可靠的消 息收发彼此通信。

9.如权利要求1所述的系统，其特征在于，聚类节点包括将所接收的任务 划分成多个子任务并向多个子聚类提供所述子任务以便执行的第二划分组件。

10.如权利要求9所述的系统，其特征在于，所述聚类节点包括聚集因 在与所述聚类节点相关联的子聚类处执行所述子任务而得到的数据的聚集组 件。

11.如权利要求1所述的系统，其特征在于，所述多个聚类驻留在无共 享存储体系结构内。

12.如权利要求1所述的系统，其特征在于，还包括将数据从web服务 器加载到所述多个聚类节点的加载组件，所述加载组件采用一个或多个分布式 分拣算法以将一个或多个数据划分分派给一个或多个特定聚类。

13.如权利要求1所述的系统，其特征在于，还包括利用所述SQL查询 的结果来向用户选择性地提供内容的搜索引擎。

14.如权利要求1所述的系统，其特征在于，还包括利用所述SQL查询 的结果来向用户选择性地提供广告的广告服务器。

15.一种用于准备大量数据以便分析处理的方法，包括：

接收查询；

基于所述查询确定多个任务；

通过使用单向消息收发将所述多个任务提供给多个聚类节点；

聚集由所述多个聚类节点关于所述多个任务提供的结果；以及

将所聚集的结果提供给OLE DB客户端。

16.如权利要求15所述的方法，其特征在于，还包括：

对所聚集的结果执行数据挖掘；以及

至少部分基于所述数据挖掘提供搜索内容和广告的至少其中之一。

17.如权利要求15所述的方法，其特征在于，所接收的查询是SQL查 询。

18.如权利要求17所述的方法，其特征在于，还包括：

在所述多个聚类节点中的一个或多个处，将所述任务划分成多个子任 务；以及

将所述子任务提供给屈从于提供所述子任务的聚类节点的多个聚类节 点。

19.如权利要求15所述的方法，其特征在于，还包括：

接收用户的身份；以及

至少部分基于所接收的身份生成所述查询。

20.一种数据处理系统，包括：

用于接收要对几千吉字节数据执行的SQL查询的装置(102)；以及

用于确定与所接收的SQL查询相关联的多个任务并将所述多个任务提 供给多个聚类节点以便处理的装置(104)。