[发明专利]数据处理方法、装置及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取待处理数据，所述待处理数据是由第一执行器写入的文件数据，所述文件数据对应的文件个数为Reducer的个数的N倍，N为大于1的整数，所述Reducer位于第二执行器中；

对同一Reducer对应的所述待处理数据进行合并处理，得到合并后的数据，所述合并后的数据的个数少于所述文件数据对应的文件个数；

接收所述第二执行器发送的第一读取操作，所述第一读取操作用于读取所述Reducer对应的合并后的数据；

根据所述第一读取操作，发送所述Reducer对应的合并后的数据。

2.根据权利要求1所述的方法，其特征在于，所述合并后的数据的个数等于所述Reducer的个数。

3.根据权利要求2所述的方法，其特征在于，每个合并后的数据分别与相应的Reducer的块标识对应。

4.根据权利要求2所述的方法，其特征在于，所述对同一Reducer对应的所述待处理数据进行合并处理，得到合并后的数据之后，还包括：

对所述待处理数据进行更新。

5.根据权利要求1所述的方法，其特征在于，所述待处理数据为至少一个应用对应的元数据。

6.根据权利要求5所述的方法，其特征在于，每个所述应用分别对应一个线程，所述线程的生命周期与对应应用的生命周期相同，所述线程用于定时扫描对应应用相关的数据结构，每当有新的文件数据形成之后进行合并处理操作。

7.根据权利要求6所述的方法，其特征在于，所述线程采用定时器作为驱动。

8.根据权利要求1所述的方法，其特征在于，还包括：

若监测到合并处理过程中出现异常，则接收所述第二执行器发送的第二读取操作，所述第二读取操作用于读取所述Reducer对应的合并前的数据；

根据所述第二读取操作，发送所述Reducer对应的合并前的数据。

9.一种数据处理装置，其特征在于，包括：

获取模块，用于获取待处理数据，所述待处理数据是由第一执行器写入的文件数据，所述文件数据对应的文件个数为Reducer的个数的N倍，N为大于1的整数，所述Reducer位于第二执行器中；

处理模块，用于对同一Reducer对应的所述待处理数据进行合并处理，得到合并后的数据，所述合并后的数据的个数少于所述文件数据对应的文件个数；

接收模块，用于接收所述第二执行器发送的第一读取操作，所述第一读取操作用于读取所述Reducer对应的合并后的数据；

发送模块，用于根据所述第一读取操作，发送所述Reducer对应的合并后的数据。

10.根据权利要求9所述的装置，其特征在于，所述合并后的数据的个数等于所述Reducer的个数。

11.根据权利要求10所述的装置，其特征在于，所述处理模块，还用于：

在对同一Reducer对应的所述待处理数据进行合并处理，得到合并后的数据之后，对所述待处理数据进行更新。

12.根据权利要求9所述的装置，其特征在于，还包括：

监测模块，用于监测合并处理过程中是否出现异常；

对应地，所述接收模块，还用于在所述监测模块监测到合并处理过程中出现异常，接收所述第二执行器发送的第二读取操作，所述第二读取操作用于读取所述Reducer对应的合并前的数据；

所述发送模块，还用于根据所述第二读取操作，发送所述Reducer对应的合并前的数据。