[发明专利]分布式集合通信方法、装置、设备及存储介质

说明书

本发明公开了一种分布式集合通信方法、装置、设备及存储介质，属于通信技术领域，该方法包括：向通信集群中的各个其它计算节点发送对应的第一兴趣包，接收各其它计算节点基于对应的第一兴趣包反馈的关联数据块，第一兴趣包中归约状态为未归约；对关联数据块和当前计算节点的原始数据块进行归约处理，得到第一局部归约数据；向各其它计算节点发送对应的第二兴趣包，接收各其它计算节点基于对应的第二兴趣包所反馈的第二局部归约数据，第二兴趣包中归约状态为已归约，以使当前计算节点得到全局归约结果，全局归约结果包括第一局部归约数据和第二局部归约数据。本发明实现了使NDN架构与全局归约算法兼容的技术效果。

技术领域

本发明涉及通信技术领域，尤其涉及一种分布式集合通信方法、装置、设备及存储介质。

背景技术

目前，TCP/IP（Transmission ControlProtocol/Internet Protocol，传输控制协议/网际协议）网络已经暴露出来不安全、可靠性差、移动性差以及灵活性差等问题，如今的TCP/IP网络架构已经越来越难以满足人们的需求。而NDN（Named Data Networking，命名数据网络）体系架构相比于传统的TCP/IP网络体系架构，具备许多优势，例如网内缓存，自适应转发，数据内生安全等。

深度学习算法研究越来越受到关注，为了更好的算法表现，深度学习模型的规模不断扩大，计算量也越来越大。日益增加的算力需求使得模型的训练向分布式训练的方向发展。全局归约（Allreduce）是高性能计算（HPC，High Performance Computing）和深度学习中常用的一种集合通信操作，采用基于IP的应用设计。因此，高性能集合通信Allreduce算法，无法直接在NDN上进行运行，即存在全局归约算法与NDN架构不兼容的问题。

发明内容

本发明的主要目的在于提供一种分布式集合通信方法、装置、设备及存储介质，旨在解决目前的全局归约算法与NDN架构不兼容的问题。

为实现上述目的，本发明提供一种分布式集合通信方法，该方法包括：

向通信集群中的各个其它计算节点发送对应的第一兴趣包，接收各所述其它计算节点基于对应的第一兴趣包反馈的关联数据块，所述第一兴趣包中归约状态为未归约；

对所述关联数据块和所述当前计算节点的原始数据块进行归约处理，得到第一局部归约数据；

向各所述其它计算节点发送对应的第二兴趣包，接收各所述其它计算节点基于对应的第二兴趣包所反馈的第二局部归约数据，所述第二兴趣包中归约状态为已归约，以使所述当前计算节点得到全局归约结果，所述全局归约结果包括所述第一局部归约数据和所述第二局部归约数据。

可选地，在所述向通信集群中的各个其它计算节点发送对应的第一兴趣包，接收各所述其它计算节点基于对应的第一兴趣包反馈的关联数据块，所述第一兴趣包中归约状态为未归约的步骤之前，还包括：

获取所述当前计算节点的计算数据集；

将所述计算数据集划分为与协同计算节点的数量对应的多个原始数据块，其中，所述协同计算节点包括所述当前计算节点和所述其它计算节点。

可选地，在所述将所述计算数据集划分为与协同计算节点的数量对应的多个原始数据块的步骤之后，还包括：

获取预设的数据命名规则，其中，所述数据命名规则中包括task字段、rank字段、round字段、字段和state字段；

根据所述数据命名规则对各所述原始数据块命名。

可选地，所述向通信集群中的各个其它计算节点发送对应的第一兴趣包，接收各所述其它计算节点基于对应的第一兴趣包反馈的关联数据块，所述第一兴趣包中归约状态为未归约的步骤包括：