[发明专利]一种数据处理方法及装置

说明书

技术领域

本发明涉及网络应用领域，具体涉及一种数据处理方法以及数据处理装置。

背景技术

在大规模并行计算中，输入的数据通常是一系列的关键字-值（key-value）对。经过一系列的计算后，输出每个key对应的新的value。为了方便寻址，并且节省存储空间，可以对输入数据进行连续的id化，即将每个key-value对中的key替换为0-N的整数。

在输入数据较多时，为每个数据（例如每个key-value对中的key）id化就会占用大量的时间，进而会降低数据的存储速度。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理装置和相应的数据处理方法。

依据本发明的一个方面，提供了一种数据处理方法，包括：

对输入的数据进行分组，其中，所述数据的组数根据处理该数据的结点数确定；

依次为每个结点分配一组待处理的数据，并利用各结点对各自对应的数据进行并行的连续id化处理，其中，所述连续id化处理是指将数据中的关键字替换为0-N的整数；

存储经连续id化处理后的数据；

所述利用各结点对各自对应的组数据进行并行的连续id化处理包括：

对于任意一个节点，计算本结点起始id编号；

根据本节点起始id编号对本结点数据进行id化。

可选地，采用如下公式对本结点数据进行id化：

其中，rank为当前结点的编号，且rank>0，Ni为结点i的数目。

可选地，rank=0时，StartID=0。

可选地，所述利用各结点对各自对应的组数据进行并行的连续id化处理，包括：

对于任意一个结点，

在本结点内部设置多个工作线程，并将本结点处理的数据依次分配到每个工作线程上；

利用每个工作线程对各自对应的数据进行连续id化处理。

可选地，所述利用每个工作线程对各自对应的数据进行连续id化处理，包括：

对于任意一个工作线程，

判断当前处理的数据是否是自身所处理的最后一条数据；

若是，则结束并退出处理流程；

若否，则为当前数据赋予id，并触发下一条数据的处理。

可选地，所述触发下一条数据的处理，包括：利用原子递增atomic_inc，对下一条数据进行连续id化处理。

可选地，所述输入的数据为key-value对。

可选地，所述方法采用MPI模型对数据进行并行的连续id化处理。

依据本发明的另一个方面，提供了一种数据处理装置，包括：

分组模块，配置为对输入的数据进行分组，其中，所述数据的组数根据处理该数据的结点数确定；

处理模块，配置为依次为每个结点分配一组待处理的数据，并利用各结点对各自对应的数据进行并行的连续id化处理，其中，所述连续id化处理是指将数据中的关键字替换为0-N的整数；

存储模块，配置为存储经连续id化处理后的数据；

其中，所述处理模块还配置为：

对于任意一个节点，计算本结点起始id编号；

根据本节点起始id编号对本结点数据进行id化。

可选地，所述处理模块采用如下公式对本结点数据进行id化：

其中，rank为当前结点的编号，且rank>0，Ni为结点i的数目。

可选地，rank=0时，StartID=0。

可选地，所述处理模块还配置为：

对于任意一个结点，

在本结点内部设置多个工作线程，并将本结点处理的数据依次分配到每个工作线程上；

利用每个工作线程对各自对应的数据进行连续id化处理。

可选地，所述处理模块还配置为：

对于任意一个工作线程，

判断当前处理的数据是否是自身所处理的最后一条数据；

若是，则结束并退出处理流程；

若否，则为当前数据赋予id，并触发下一条数据的处理。

可选地，所述处理模块还配置为：利用原子递增atomic_inc，对下一条数据进行连续id化处理。

可选地，所述输入的数据为key-value对。

可选地，所述装置采用MPI模型对数据进行并行的连续id化处理。