[发明专利]数据包传输方法和装置

说明书

技术领域

本发明是涉及数据传输，更具体而言，涉及一种改善了的数据包传输方法和装置。

背景技术

当前，计算机网络越来越普及，并且计算机网络的规模仍在日益扩大。在当前的计算机网络中有数十万台服务器以及存储器。

为了在这种计算机网络中执行大规模任务，诸如大数据集合的计算，已经提出了一种分布式的并行计算架构。在使用这种并行计算架构的计算系统中，通常包括一个主控节点、一个或多个计算节点和一个或多个汇总节点。主控节点将大规模数据计算任务划分为多个规模较小的子任务，确定用于执行任务的计算节点和汇总节点的个数及其位置等，并给每个子任务指定用于完成其的计算节点和汇总节点。计算节点接收并执行给其指定的子任务并将子任务执行完成通知给主控节点。计算节点根据主控节点的指示将中间数据发送给主控节点为其指定的汇总节点。汇总节点根据其从相应的计算节点接收到的中间结果进行适当的合并以获得针对本次任务的计算结果。计算节点和汇总节点都是逻辑节点，其可以位于同一或不同的物理网络节点上。

这种并行计算架构的一个典型例子是Google^TM公司于2004年发布的用于支持在计算机集群上对大数据集合进行分布式计算的软件架构MapReduce。在MapReduce架构中也包括一个Master(即，主控节点)、一个或多个充当计算节点的Mapper(即，映射节点)和一个或多个充当汇总节点的Reducer。基于MapReduce架构的应用程序在运行时包括从Mapper到Reducer交换中间结果的数据传输(shuffle)阶段。通常，一个Reducer要从多个Mapper取所需要的结果，一个Mapper的结果会被送给多个Reducer.。如果Mapper给每一个Reducer的结果比较大时，就会带来大量的网络传输。对于大规模的计算，可能会有上万个Mapper，每个Mapper的结果可能为GB的量级，这样就会有以T来计算的中间结果在网络上传输，会对网络造成巨大的压力。对于这种由于中间结果巨大，并且其传输在整体执行时间上占据了明显的比例的，可称之为传输关键(shuffle critical)的计算机系统。对于这些传输关键的应用而言，中间结果的传输成为性能的瓶颈，特别是在数据传输很集中的场景下，会严重的影响效率。

由上可见，对于中间数据传输关键的应用来说，需要对其进行改进以提高数据传输的效率。

发明内容

根据本发明的一个方面，提供了一种用于计算节点的数据包发送方法，包括：确定具有相同目的地并且结构相同的多个常规数据包；确定所述多个常规数据包在汇总节点进行汇总运算的至少一个数据字段以及该数据字段的汇总运算类型；生成与所述多个常规数据包结构相同的先导数据包，在所述先导数据包中记载所确定的所述进行汇总运算的至少一个数据字段的位置信息以及该数据字段的汇总运算类型；在发送所述多个常规数据包之前发送所述先导数据包。

根据本发明的另一个方面，提供了一种用于交换机的数据包处理方法，包括：接收数据包，根据所述数据包中的类型字段确定数据包的类型；响应于所述数据包是先导数据包，解析该先导数据包以确定出与该先导数据包相对应的多个常规数据包之间进行汇总运算的至少一个数据字段以及该数据字段的汇总运算类型；确定出与所述先导数据包相对应的多个常规数据包；根据所述解析结果将所述多个常规数据包中进行合并；发送合并后的数据包以替换所述多个常规数据包。

根据本发明的第三个方面，提供了一种用于计算节点的数据包发送装置，包括：数据包确定单元，配置为确定具有相同目的地并且结构相同的多个常规数据包；汇总运算确定单元，配置为确定所述多个常规数据包在汇总节点进行汇总运算的至少一个数据字段以及该数据字段的汇总运算类型；先导数据包生成单元，配置为生成与所述多个常规数据包结构相同的先导数据包，在所述先导数据包中记载所确定的所述进行汇总运算的至少一个数据字段的位置信息以及该数据字段的汇总运算类型；数据包发送单元，配置为在发送所述多个常规数据包之前发送所述先导数据包。