[发明专利]基于MapReduce并行计算模型的XML文件处理方法和装置

权利要求书

1.一种基于MapReduce并行计算模型的XML文件处理方法，其特征在于，设置split值和配置信息，包括：

获取待处理的目标XML文件；

根据预先设置的split值，获取所述目标XML文件的各个预分切位置；

根据预先设置的配置信息，对获取的各个预分切位置进行校正；

根据校正后的各个预切分位置，对所述目标XML文件分切为两个以上的数据块；

将各个数据块发送给MapReduce并行计算模型，以使MapReduce并行计算模型分别为各个数据块分配处理设备，以对各个数据块进行写入。

2.根据权利要求1所述的方法，其特征在于，所述根据预先设置的配置信息，对获取的各个预分切位置进行校正，包括：

根据所述配置信息，分别从各个预分切位置处开始，向所述目标XML文件的起始位置进行查找，直到查找到所述配置信息时结束；

根据分别查找的所述配置信息计算各个预分切位置的偏移量；

根据各个预分切位置的偏移量，对所述目标XML文件分切为一个以上的数据块。

3.根据权利要求1所述的方法，其特征在于，在所述将各个数据块发送给MapReduce并行计算模型之前，进一步包括：

将各个数据块的格式转换为适合MapReduce并行计算模型处理的格式。

4.根据权利要求1至3中任一所述的方法，其特征在于，

进一步包括：预先设置封装信息，所述封装信息包括：xmlInputFormat.head和xmlInputFormat.tail；

在所述将各个数据块发送给MapReduce并行计算模型之前，进一步包括：根据预先设置的封装信息对各个数据块进行封装。

5.一种基于MapReduce并行计算模型的XML文件处理装置，其特征在于，包括：

存储单元，用于存储split值和配置信息；

获取单元，用于获取待处理的目标XML文件；

预分切单元，用于根据预先设置的split值，获取所述目标XML文件的各个预分切位置；

校正单元，用于根据预先设置的配置信息，对获取的各个预分切位置进行校正；

分切单元，用于根据校正后的各个预切分位置，对所述目标XML文件分切为两个以上的数据块；

发送单元，用于将各个数据块发送给MapReduce并行计算模型；

分配单元，用于通过MapReduce并行计算模型分别为各个数据块分配处理设备，以对各个数据块进行写入。

6.根据权利要求5所述的基于MapReduce并行计算模型的XML文件处理装置，其特征在于，所述校正单元，用于根据所述配置信息，分别从各个预分切位置处开始，向所述目标XML文件的起始位置进行查找，直到查找到所述配置信息时结束；根据分别查找的所述配置信息计算各个预分切位置的偏移量；然后，根据各个预分切位置的偏移量，通过所述分切单元对所述目标XML文件分切为一个以上的数据块。

7.根据权利要求5所述的基于MapReduce并行计算模型的XML文件处理装置，其特征在于，进一步包括：

转换单元，用于将各个数据块的格式转换为适合MapReduce并行计算模型处理的格式。

8.根据权利要求5至6中任一所述的基于MapReduce并行计算模型的XML文件处理装置，其特征在于，

进一步包括：存储单元，用于预先设置封装信息，

所述封装信息包括：xmlInputFormat.head和xmlInputFormat.tail；

进一步包括：封装单元，用于根据预先设置的封装信息对各个数据块进行封装。