[发明专利]用于异构计算环境中的数据传输的网络接口

说明书

本发明的主题是“用于异构计算环境中的数据传输的网络接口”。网络接口控制器可以被编程为经由或者主机到设备架构或者加速器架构将接收的数据直接写入到存储器缓冲器。对于要被写入到与加速器设备相关联的存储器缓冲器的所接收的分组，网络接口控制器可以确定接收的分组的目的地存储器地址的地址转换并且确定是否使用辅助头。如果已转换地址可得并且要使用辅助头，则使用直接存储器存取（DMA）引擎来经由加速器架构将接收的分组的一部分复制到与地址转换相关联的目的地存储器缓冲器。因此，可以避免通过主机到设备架构将接收的分组的一部分复制到目的地存储器并且可以减少用于加速器绑定业务的主机到设备架构的使用。

技术领域

本文中描述的各种示例涉及在异构计算环境中将分组路由至目标存储器设备。

背景技术

在人工智能（AI）和机器学习（ML）的背景下，深度神经网络（DNN）在执行诸如对象分类、对象检测、语音识别和其他推断的任务方面正在变得日益流行。DNN在性能驱动的服务器和功率优化的边缘设备两者中发现应用。随着模型的大小增加，权重和激活的数量会随着计算量的增加而增加。专用于执行与神经网络的计算相关的任务的加速器设备是常见的。

用于AI的深度学习（DL）算法需要存储器、计算和网络缩放以高效地完成计算。这些算法可以被实现为数据并行、模型并行或混合模型。DL算法实现需要处理分发给许多计算节点的大数据集并且合并来自节点的结果以用于最终结果。

附图说明

图1示出了用来在数据中心中运行深度学习应用的部件的示例。

图2A描绘了其中网络接口将接收的分组直接提供给加速器架构（acceleratorfabric）以用于传送到存储器设备的高级系统图。

图2B描绘了其中网络接口将接收的分组直接提供给加速器架构以用于传送到存储器设备的示例系统。

图3A描绘了示例设置操作。

图3B描绘了接收的分组的示例处理。

图3C描绘了确定接收的分组的目的地地址的示例。

图3D描绘了将分组传送到至加速器存储器的目的地存储器地址的示例。

图4描绘了示例通信序列。

图5A-5C描绘了可以被网络接口执行的过程。

图6描绘了系统。

图7描绘了可以使用实施例或者可以被实施例使用的网络接口。

图8描绘了数据中心的示例。

具体实施方式

图1示出了用来在数据中心中运行深度学习或其他机器学习（ML）或其他人工智能（AI）应用的部件的示例。为了在计算节点之间分发、计算和同步大数据集，可以在运行大DL应用的数据中心中使用下列关键部件。计算节点可以由使用按比例增大的架构（scale-upfabric）-CPU按比例增大的架构、加速器按比例增大的架构而被连接在一起的多个异构计算元件组成。可选的主机到设备架构（host-to-device fabric）可以将主机连接到加速器设备。可使用包括架顶式（Top of Rack（ToR））或者行尾（End of Row（EoR））的网络来将计算节点连接在一起。