[发明专利]一种基于RDMA的零拷贝数据流

权利要求书

1.一种基于RDMA的零拷贝数据流，其特征在于，主要包括内存分配器和信息收集器；

所述内存分配器，用来实现不同内存的分配规则；

所述内存类型信息收集器，用于解析数据流计算图，并根据数据流计算图中每条边的数据源和数据接收节点来确定每个步骤的缓冲区管理规则；其中，

所述数据流为有向无环图，其中每个节点具有多个输入和输出的预定义操作；所述数据流包括分布式数据流，所述分布式数据流在所有的训练节点之间进行划分，使得每个边缘被分割成一个通信阶段，其中上一阶段的输出通过通信通道传输成为下一阶段的输入；所述的输出和输入，包括大型和不可变的数据块；所述数据块能够被训练节点的计算子系统和通信子系统处理；采用整体设计的数据流计算/通信流水线，使所述计算子系统/通信子系统根据所述计算/通信流水线依次直接访问所述数据块；

当所述内存分配器分配内存，注册缓冲区；使注册到地址转换表中的缓冲区能够在节点的计算和通信子系统之间共享；当所述节点计算子系统和通信子系统不再继续使用缓冲区时，则释放所述缓冲区。

2.根据权利要求1所述的一种基于RDMA的零拷贝数据流，其特征在于，所述内存分配器包括DMA和RDMA。

3.根据权利要求2所述的一种基于RDMA的零拷贝数据流，其特征在于，所述DMA用来对设备直接进行数据的存取。

4.根据权利要求3所述的一种基于RDMA的零拷贝数据流，其特征在于，所述设备包括显卡、网卡或处理器。

5.根据权利要求2所述的一种基于RDMA的零拷贝数据流，其特征在于，所述RDMA用来对远程数据进行直接存取。

6.根据权利要求1所述的一种基于RDMA的零拷贝数据流，其特征在于，所述内存类型信息收集器包括解析模块和数据流模块。

7.根据权利要求2或6所述的一种基于RDMA的零拷贝数据流，其特征在于，所述解析模块分别与所述数据流模块、DMA和RDMA相连接。

8.根据权利要求6所述的一种基于RDMA的零拷贝数据流，其特征在于，所述数据流模块以数据流图结构表示数据的流向以及节点分布，用来向所述解析模块提供内存分配信息。

9.根据权利要求6所述的一种基于RDMA的零拷贝数据流，其特征在于，所述解析模块包括解析器，用来对数据块所需的内存进行分类。