[发明专利]基于MapReduce的数据处理方法、客户端和系统

权利要求书

1.一种基于MapReduce的数据处理方法，其特征在于，包括:

客户端查询并获取本次MapReduce计算需要处理的多个文件夹信息，其中，所述多个文件夹中存储着需要处理的数据文件；

遍历所述多个文件夹，根据所述多个文件夹的数据文件生成不同的任务，并依此送入MapReduce中的Map程序中，直至读取完所有的数据文件，由Map程序依次对所述数据文件进行map计算。

2.根据权利要求1所述的基于MapReduce的数据处理方法，其特征在于，进一步还包括：

获取所述多个文件夹的路径信息，根据所述多个路径信息遍历所述多个文件夹。

3.根据权利要求1或2所述的基于MapReduce的数据处理方法，其特征在于，所述多个文件夹按照预设的命名规则进行命名，所述Map程序依次遍历所述多个文件夹，包括：

获取文件夹的最小命名和文件夹的最大命名，通过循环调用的依次遍历所述多个文件夹。

4.根据权利要求1所述的基于MapReduce的数据处理方法，其特征在于，Map程序依次对所述数据文件进行map计算后，输出的结果送入Reduce程序进行reduce计算。

5.一种基于MapReduce的数据处理客户端，其特征在于，包括：

查询单元，用于查询并获取本次MapReduce计算需要处理的多个文件夹信息，其中，且每一个文件夹中都存储着需要处理的数据文件；

任务生成单元，用于遍历所述多个文件夹，根据所述多个文件夹的数据文件生成不同的任务，并依此送入MapReduce中的Map程序，直至读取完所有的数据文件。

6.根据权利要求5所述的基于MapReduce的数据处理客户端，其特征在于，进一步包括：

文件夹操作单元，用于获取所述多个文件夹的路径信息；所述任务生成单元，进一步用于根据所述路径信息依次遍历所述多个文件夹。

7.根据权利要求5或6所述的基于MapReduce的数据处理客户端，其特征在于，所述多个文件夹按照预设的命名规则进行命名；

其中，所述任务生成单元，进一步获取文件夹的最小命名和文件夹的最大命名，通过循环调用依次遍历所述多个文件夹。

8.一种基于MapReduce的数据处理系统，其特征在于，包括：

客户端，包括：

查询单元，用于查询并获取本次MapReduce计算需要处理的多个文件夹信息，其中，且每一个文件夹中都存储着需要处理的数据文件；

任务生成单元，用于遍历所述多个文件夹，根据所述多个文件夹的数据文件生成不同的任务，并依此送入MapReduce中的Map程序，直至读取完所有的数据文件；

MapReduce装置，包括:

Map单元，用于依次对所述数据文件进行map计算;Reduce单元，用于对map后的结果进行reduce计算，并输出结果。

9.根据权利要求8所述的基于MapReduce的数据处理系统，其特征在于，所述客户端进一步包括：

文件夹操作单元，用于获取所述多个文件夹的路径信息；

所述任务生成单元，进一步用于根据所述路径信息依次遍历所述多个文件夹。

10.根据权利要求8或9所述的基于MapReduce的数据处理系统，其特征在于，所述多个文件夹按照预设的命名规则进行命名；

其中，所述客户端中，所述任务生成单元，进一步获取文件夹的最小命名和文件夹的最大命名，通过循环调用依次遍历所述多个文件夹。