[发明专利]分布式计算方法和装置

权利要求书

1.一种分布式计算方法，其特征在于，包括以下步骤：

根据输入数据生成输入向量Vector；

获取预设算子和所述预设算子对所述Vector的依赖关系；以及

通过映射模块Map组织多次map计算直至达到所述预设算子的终止条件为止，其中，每次map计算时根据所述依赖关系从所述Vector中获取数据以根据所述预设算子进行计算，并根据计算结果更新所述Vector中对应的数据。

2.根据权利要求1所述的方法，其特征在于，所述每次map计算时根据所述依赖关系从所述Vector中获取数据以根据所述预设算子进行计算，具体包括：

在每次计算时通过所述Map根据所述依赖关系获取所述预设算子在所述Vector中对应的至少部分输入数据，并根据所述预设算子对所述至少部分输入数据进行计算。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

创建全局向量Var，其中，所述Var存储全局性的统计数据。

4.根据权利要求1-3任一项所述的方法，其特征在于，还包括：

通过Emit接口将计算结果倒入至目的向量Vector/Var中。

5.根据权利要求1或2所述的方法，其特征在于，所述Vector分布式存储所述输入数据。

6.根据权利要求5所述的方法，其特征在于，所述Vector包括多个分割区Partition，每个所述Partition分别对应一个计算节点，每个所述Partition包括多个子节点SubNode。

7.根据权利要求6所述的方法，其特征在于，每个所述SubNode分别对应一个进程缓存，每个所述进程缓存分别对应一个线程缓存，以使得数据的传递方向为所述线程缓存、所述进程缓存至所述SubNode。

8.一种分布式计算装置，其特征在于，包括：

生成模块，用于根据输入数据生成输入向量Vector；

获取模块，用于获取预设算子和所述预设算子对所述Vector的依赖关系；以及

计算模块，用于通过映射模块Map组织多次map计算直至达到所述预设算子的终止条件为止，其中，每次map计算时根据所述依赖关系从所述Vector中获取数据以根据所述预设算子进行计算，并根据计算结果更新所述Vector中对应的数据。

9.根据权利要求8所述的装置，其特征在于，所述计算模块还具体用于在每次计算时通过所述Map根据所述依赖关系获取所述预设算子在所述Vector中对应的至少部分输入数据，并根据所述预设算子对所述至少部分输入数据进行计算。

10.根据权利要求8或9所述的装置，其特征在于，所述生成模块还用于创建全局向量Var，其中，所述Var存储全局性的统计数据。

11.根据权利要求8-10任一项所述的装置，其特征在于，所述计算模块还用于通过Emit接口将计算结果倒入至目的向量Vector/Var中。

12.根据权利要求8或9所述的装置，其特征在于，所述Vector分布式存储所述输入数据。

13.根据权利要求12所述的装置，其特征在于，所述Vector包括多个分割区Partition，每个所述Partition分别对应一个计算节点，每个所述Partition包括多个子节点SubNode。

14.根据权利要求13所述的装置，其特征在于，每个所述SubNode分别对应一个进程缓存，每个所述进程缓存分别对应一个线程缓存，以使得数据的传递方向为所述线程缓存、所述进程缓存至所述SubNode。