[发明专利]数据处理方法、装置及存储介质

说明书

本申请实施例提供一种数据处理方法、装置及存储介质，所述方法包括：获取待处理数据，待处理数据是由第一执行器写入的文件数据，文件数据对应的文件个数为Reducer的个数的N倍，N为大于1的整数，Reducer位于第二执行器中；对同一Reducer对应的待处理数据进行合并处理，得到合并后的数据，其中合并后的数据的个数少于文件数据对应的文件个数；接收第二执行器发送的第一读取操作，第一读取操作用于读取Reducer对应的合并后的数据；根据第一读取操作，发送Reducer对应的合并后的数据。本申请实施例可减少随机读取的次数，从而加快shuffle read过程，降低磁盘IO资源及网络消耗。

技术领域

本申请实施例涉及信息处理技术领域，尤其涉及一种数据处理方法、装置及存储介质。

背景技术

在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，其中Map的输出要用到Reduce中必须经过shuffle这个环节，因此shuffle的性能高低直接影响了整个框架的性能和吞吐量。

Spark作为MapReduce框架的一种实现，自然也实现了shuffle的逻辑。Spark在运行含shuffle过程的应用(Application)时，执行器(Executor)除了运行任务(task)，还要负责任务结束后，将该任务产生的数据写入到磁盘，给其他执行器提供shuffle数据。具体地，Spark可包括写入阶段和读取阶段，也即：shufflewrite和shuffle read。在shufflewrite过程中，执行器中Mapper根据其他执行器中Reducer的个数进行分片，然后，将分片后的数据存储至Spark的特殊目录，由外围组件external shuffle service进行管理并提供服务；在shuffle read过程中，Reducer读取每个Mapper中对应自身的数据，从而导致大量的随机读取，使得整个shuffle read过程非常缓慢，有很多不必要的磁盘IO资源及网络消耗。

发明内容

本申请实施例提供一种数据处理方法、装置及存储介质，以加快shuffle read过程，降低不必要的磁盘IO资源及网络消耗。

第一方面，本申请实施例提供一种数据处理方法，包括：

获取待处理数据，所述待处理数据是由第一执行器写入的文件数据，所述文件数据对应的文件个数为Reducer的个数的N倍，N为大于1的整数，所述Reducer位于第二执行器中；

对同一Reducer对应的所述待处理数据进行合并处理，得到合并后的数据，所述合并后的数据的个数少于所述文件数据对应的文件个数；

接收所述第二执行器发送的第一读取操作，所述第一读取操作用于读取所述Reducer对应的合并后的数据；

根据所述第一读取操作，发送所述Reducer对应的合并后的数据。

在一种可能的实施方式中，所述合并后的数据的个数等于所述Reducer的个数。

在一种可能的实施方式中，每个合并后的数据分别与相应的Reducer的块标识对应。

在一种可能的实施方式中，所述对同一Reducer对应的所述待处理数据进行合并处理，得到合并后的数据之后，还可以包括：对所述待处理数据进行更新。

在一种可能的实施方式中，所述待处理数据为至少一个应用对应的元数据。

在一种可能的实施方式中，每个所述应用分别对应一个线程，所述线程的生命周期与对应应用的生命周期相同，所述线程用于定时扫描对应应用相关的数据结构，每当有新的文件数据形成之后进行合并处理操作。

在一种可能的实施方式中，所述线程采用定时器作为驱动。

在一种可能的实施方式中，所述数据处理方法还可以包括：