[发明专利]一种数据处理的方法和设备

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理的方法和设备。

背景技术

随着互联网产业对于数据的需求量越来越大，计算机科学的发展进入了“大数据时代”，呈现出：数据量大、产生的速度快、数据多样性明显、数据可信度无法保证的四大特征，这些特征导致计算机在面对大量数据进行处理和分析时，必须提高对“大数据”进行高效处理的能力。但是由于计算机体系结构推进到了多核/众核时代，并直接导致了芯片的多元化，使得在集群环境呈现出异构性的特点，其一，节点内部的异构性，即中央处理器CPU(Central Processing Unit)、图形处理器GPU(Graphic Processing Unit)或其他加速部件的异构性；其二，节点间的异构性，即不同处理能力节点的继承。

其中，现有技术中为解决在计算机异构性的基础上实现高效处理数据的方法包括：其一，计算机中GPU上只执行映射Mapper操作，再将Mapper的输出传输至宿主CPU，再由CPU执行分区与洗牌的操作。这里GPU和宿主CPU间数据传输量大，同时分区和洗牌操作在宿主CPU上完成，没有充分利用GPU的执行计算能力。其二，通过提供一个新的编程模型，从而在GPU上用一个函数同时执行映射Mapper和化简Reducer的操作。这里通过使用新的编程模型将MapReduce中的很多内容暴露给用户，导致用户编程压力大。

发明内容

本发明的实施例提供一种数据处理的方法和设备，通过调用图形处理器对应功能，减轻中央处理器的数据处理负担，提高了数据处理质量。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，通过一种数据处理的方法，包括：

通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器；

由所述第一缓存器中调用所述数据，并进行多层洗牌，所述多层洗牌为根据所述数据的共同特征对所述数据进行分组以及统计整理，其中，所述多层洗牌包括内层洗牌和外层洗牌；

将进行多层洗牌的所述数据进行统计存入第二缓存器中；

将所述第二缓存器中的所述数据通过合并函数进行合并，并将所述合并后的数据缓存入结果缓存器。

在第一种可能的实现方式中，结合第一方面具体包括，所述通过多层分区对数据进行分区整理，包括：

将当前分区中的数据按照预设分区策略由当前一个分区分成多个子分区。

在第二种可能的实现方式中，结合第一方面或第一种可能的实现方式具体包括，所述由所述第一缓存器中调用所述数据，并进行多层洗牌，包括：

通过所述内层洗牌将所述数据根据所述数据的共同特征进行分组，将具有所述共同特征的数据分入相同的子分区，所述内层洗牌为将所述数据按照所述数据的共同特征进行分类；

根据所述内层洗牌得到的多个子分区的数据通过所述外层洗牌进行统计整理，所述外层洗牌为根据所述预设的分区策略统计所述内层洗牌后的多个子分区中的数据。

在第三种可能的实现方式中，结合第一方面具体包括，所述通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器之前，还包括：

调用图形处理器中的函数组，并根据所述函数组处理对应的所述数据，所述函数组包括：映射函数Mapper、分区函数Partitioner、洗牌函数Shuffler和合成函数Combiner。

第二方面，提供一种数据处理设备，包括：

分区单元，用于通过多层分区对数据进行分区整理，并将所述分区整理后的数据存入第一缓存器；

洗牌单元，用于由所述第一缓存器中调用所述数据，并进行多层洗牌，，所述多层洗牌为根据所述数据的共同特征对所述数据进行分组以及统计整理，其中，所述多层洗牌包括内层洗牌和外层洗牌；

缓存单元，用于将进行多层洗牌的所述数据进行统计存入第二缓存器中；

合并单元，用于将所述第二缓存器中的所述数据通过合并函数进行合并，并将所述合并后的数据缓存入结果缓存器。

在第一种可能的实现方式中，结合第二方面具体包括，所述分区单元，还用于将当前分区中的数据按照预设的分区策略由当前一个分区分成多个子分区。

在第二种可能的实现方式中，结合第二方面或第一种可能的实现方式具体包括，所述洗牌单元，包括：

内部洗牌子单元，用于通过所述内层洗牌将所述数据根据所述数据的共同特征进行分组，将具有所述共同特征的数据分入相同的子分区，所述内层洗牌为将所述数据按照所述数据的共同特征进行分类；