[发明专利]用于共同训练模型的训练参与端的网络连接方法、装置、系统和服务器

说明书

本申请实施例公开了用于共同训练模型的训练参与端的网络连接方法和装置，其中，训练参与端采用主从模式。该方法的一具体实施方式包括：获取从节点的通信状态信息，其中，该通信状态信息用于指示节点所处于的通信连接阶段；获取目标从节点的通信状态信息作为目标通信状态信息，其中，该目标从节点包括与从节点对应的对等节点，该对等节点分属于该共同训练模型的不同训练参与端；响应于确定目标通信状态信息与从节点的通信状态信息不匹配，重置从节点所处于的通信连接阶段。该实施方式实现了尽可能地减少网络故障所带来的数据损失。

技术领域

本申请实施例涉及计算机技术领域，具体涉及用于共同训练模型的训练参与端的网络连接方法和装置。

背景技术

随着人工智能技术的飞速发展，模型训练的规模越来越大，采用并行方式进行模型训练也越来越广泛。在并行设计中，主从(Master-Worker)模式常常被采用。其中，主节点(Master)通常负责接收和分配任务(例如训练任务)，从节点(Worker)通常负责处理子任务。

在多个训练参与端共同训练模型的过程中，不可避免地会存在各种故障，例如网络故障、训练器故障、参数服务器故障等。相关的方式通常是通过预先设置服务的恢复点，在出现故障时从以上恢复点进行数据恢复。

发明内容

本申请实施例提出了用于共同训练模型的训练参与端的网络连接方法和装置。

第一方面，本申请实施例提供了一种用于共同训练模型的训练参与端的网络连接方法，训练参与端采用主从模式，该方法包括：获取从节点的通信状态信息，其中，通信状态信息用于指示节点所处于的通信连接阶段；获取目标从节点的通信状态信息作为目标通信状态信息，其中，目标从节点包括与从节点对应的对等(peer)节点，对等节点分属于共同训练模型的不同训练参与端；响应于确定目标通信状态信息与从节点的通信状态信息不匹配，重置从节点所处于的通信连接阶段。

在一些实施例中，该方法还包括：响应于确定从节点所处于的通信连接阶段发生改变，生成用于指示从节点处于改变后的通信连接阶段的新通信状态信息。

在一些实施例中，上述响应于确定目标通信状态与从节点的通信状态信息不匹配，重置从节点所处于的通信连接阶段，包括：响应于确定目标通信状态信息用于指示目标从节点处于通信连接阶段前的连接建立阶段且从节点的通信状态信息用于指示从节点处于通信连接阶段，重置从节点的通信连接阶段为通信连接阶段前的连接建立阶段。

第二方面，本申请实施例提供了一种用于共同训练模型的训练参与端的网络连接装置，训练参与端采用主从模式，该装置包括：第一获取单元，被配置成获取从节点的通信状态信息，其中，通信状态信息用于指示节点所处于的通信连接阶段；第二获取单元，被配置成获取目标从节点的通信状态信息作为目标通信状态信息，其中，目标从节点包括与从节点对应的对等节点，对等节点分属于共同训练模型的不同训练参与端；重置单元，被配置成响应于确定目标通信状态信息与从节点的通信状态信息不匹配，重置从节点所处于的通信连接阶段。

在一些实施例中，该装置还包括：生成单元，被配置成响应于确定从节点所处于的通信连接阶段发生改变，生成用于指示从节点处于改变后的通信连接阶段的新通信状态信息。

在一些实施例中，上述重置单元进一步被配置成：响应于确定目标通信状态信息用于指示目标从节点处于通信连接阶段前的连接建立阶段且从节点的通信状态信息用于指示从节点处于通信连接阶段，重置从节点的通信连接阶段为通信连接阶段前的连接建立阶段。