[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，该方法包括以下步骤：

接收映射/化简计算请求，获取基于键值对的待处理数据，该待处理数据中键的数据类型为整数；

基于映射/化简中映射器的第一预设数量，将所述待处理数据平均拆分成所述第一预设数量的待处理数据块，所述映射器与所述待处理数据块一一对应；

调用所述映射器识别相应的所述待处理数据块的输入路径，基于识别出的所述输入路径对相应的所述待处理数据块进行映射处理，得到中间结果数据；

根据该中间结果数据中各键值对的键以及化简器的第二预设数量调用相应的化简器对该中间结果数据进行化简处理，得到最终结果数据；及

识别最终结果数据中各键值对的类别；

根据键值对的类别对最终结果数据中各键值对进行标记；

根据各键值对的标记为最终结果数据中各键值对建立相应的输出路径，并根据所建立的输出路径输出相应的键值对。

2.如权利要求1所述的数据处理方法，其特征在于，所述获取基于键值对的待处理数据的步骤包括：

将该待处理数据中的索引标识设置为该待处理数据中各键值对的键，该索引标识的数据类型为整数。

3.如权利要求1所述的数据处理方法，其特征在于，所述获取基于键值对的待处理数据的步骤包括：

根据所述映射/化简计算请求从指定的输入路径获取该待处理数据。

4.如权利要求1所述的数据处理方法，其特征在于，所述根据该中间结果数据中各键值对的键以及化简器的第二预设数量调用相应的化简器对该中间结果数据进行化简处理的步骤包括：

依次以该中间结果数据中各键值对的键对所述化简器的第二预设数量取模；

将中间结果数据中经上述取模处理后所得模值相同的键对应的键值对交由所述第二预设数量的化简器中同一个化简器进行化简处理，该第二预设数量的化简器中每一个化简器都分别用于处理中间结果数据中经上述取模处理后所得模值相同的键对应的键值对。

5.如权利要求1所述的数据处理方法，其特征在于，所述识别最终结果数据中各键值对的类别的步骤包括：

根据键值对的指定字段识别最终结果中各键值对的类别。

6.如权利要求1所述的数据处理方法，其特征在于，所述根据键值对的类别对最终结果数据中各键值对进行标记的步骤包括：

根据所属键值对的类别对最终结果数据中各键值对中的键进行标记。

7.如权利要求6所述的数据处理方法，其特征在于，所述根据所属键值对的类别对最终结果数据中各键值对中的键进行标记的步骤包括：

根据所属键值对的类别依次对最终结果数据的每一个键值对中的键进行如下处理：

将该键的最高位抹去，然后以该键所属键值对的类别对应的预设标识值作为该键的最低位；

所述根据最终结果数据中各键值对的标记输出最终结果数据的步骤包括：

根据最终结果数据的各键值对中键的所述预设标识值输出最终结果数据。

8.一种数据处理装置，其特征在于，该装置包括：

获取模块，用于接收映射/化简计算请求，获取基于键值对的待处理数据，该待处理数据中键的数据类型为整数；

第一处理模块，用于基于映射/化简中映射器的第一预设数量，将所述待处理数据平均拆分成所述第一预设数量的待处理数据块，所述映射器与所述待处理数据块一一对应；

所述第一处理模块，还用于调用所述映射器识别相应的所述待处理数据块的输入路径，基于识别出的所述输入路径对相应的所述待处理数据块进行映射处理，得到中间结果数据；

第二处理模块，用于根据该中间结果数据中各键值对的键以及化简器的第二预设数量调用相应的化简器对该中间结果数据进行化简处理，得到最终结果数据；及

识别子模块，用于识别最终结果数据中各键值对的类别；

标记子模块，用于根据键值对的类别对最终结果数据中各键值对进行标记；

输出子模块，用于根据各键值对的标记为最终结果数据中各键值对建立相应的输出路径，并根据所建立的输出路径输出相应的键值对。