[发明专利]通过运行时间合作进行高效通信重叠

说明书

本发明涉及一种用于并行计算环境中的运行时间之间的通信的方法，通过运行时间合作进行高效通信重叠，该方法包括：使第一运行时间向第二运行时间发送消息，其中，所述第二运行时间动态地公开其状态，以便能够在所述状态一处于空闲状态就接收所述消息。

技术领域

本发明涉及软件应用程序的运行时间之间的交互。具体而言，它涉及这种运行时间的通信和计算之间的重叠。

背景技术

通过将通信与计算重叠来同时使用网络和计算资源已成为当今在高性能计算(HPC)科学应用中扩展到数千个计算节点的主要关注点。

为了实现这种重叠，流行的MPI标准规定了非阻塞通信例程(routine)，允许在后台进行通信进程(progress)，同时应用程序继续进行计算。该MPI标准例如在消息传递接口论坛中描述，“MPI：消息传递接口标准”，版本3.1，2015。

通信和计算重叠的实例在图1a和图1b中描绘。

图1a描绘了理论情况，其中，如果接收器请求异步地接收一条数据并开始计算，则匹配的发送器应该能够执行通信而无需接收器的进一步干预。然而，图1b描绘了一种实际情况，其中，消息的实际接收仅在调用MPI实现时发生，其通常在计算步骤结束时，当接收器等待通信时。此行为极大地降低了通信/计算重叠可能性。

在实践中，使用MPI进行非阻塞通信进程会产生两个问题：通信和完成检测的进程。

正如R.Brightwell、R.Riesen和K.D.Underwood所讨论的，“Analyzing theimpact of overlap,offload,and independent progress for message passinginterface applications”，Int.J.High Perform.Comput.Appl.，vol.19，no.2，pp.103–117，2005，MPI-2标准仅在其进程规则中定义了实现(implementation)应如何解决非阻塞通信的完成，而不是实现应如何使它们进行下去。该陈述导致各种模糊性和实践中背景进程的不同实现。

关于通信和计算重叠技术的调查可在V.Cardellini、A.Fanfarillo和S.Filippone的“Overlapping communication with computation in MPIapplications”，Univ.Roma Tor Vergata Tech Rep DICII RR-1609，2016。

Brightwell等人区分几种解决方案以在上述文章中执行通信/计算重叠。

第一个称为卸载，是指何时将通信处理完全卸载到第三方，这允许主机CPU继续执行计算。该第三方通常是专门用于独立处理通信的NIC(网络接口卡)，例如MyrinetQuadrics，其在例如以下文献中描述：F.Petrini、W.Feng、A.Hoisie、S.Coll和E.Frachtenberg的“The Quadrics network:High-performance clustering technology”中描述，Ieee Micro，vol.22，no.1，pp.46–57，2002。

但是，正如T.Hoefler和A.Lumsdaine所讨论的那样，“Message progression inparallel computing-to thread or not to thread？”，Cluster Computing，2008IEEE国际会议，2008，pp.213–222。一些NIC不利用完全异步通信，这部分地打破了独立进程。实际上，它们通常无法处理对性能产生巨大影响的通信协议的关键部分。我们可引用消息匹配或事件队列处理，它们仍然由主机CPU执行。一些其他NIC仅提供阻塞网络编程接口，其提供独立进程但不重叠。