[发明专利]用于训练机器学习模型的方法、装置、设备和介质

权利要求书

1.一种用于训练机器学习模型的方法，所述机器学习模型包括第一子模型和第二子模型，所述第一子模型位于计算系统中的第一计算节点，并且所述第二子模型位于所述计算系统中的第二计算节点，所述方法包括：在所述第一计算节点处，

接收用于训练所述机器学习模型的第一组训练数据；

从所述第二计算节点获取所述第二子模型；

分别向所述第一子模型和获取的所述第二子模型输入所述第一组训练数据，以确定用于更新所述第一子模型的第一更新参数和用于更新所述第二子模型的第二更新参数；以及

向所述第二计算节点传输所述第二更新参数。

2.根据权利要求1的所述方法，其中获取所述第二子模型包括：在用于训练所述机器学习模型的训练阶段的开始时间点，从所述第二计算节点获取所述第二子模型。

3.根据权利要求1的所述方法，其中获取所述第二子模型包括：

响应于确定所述第一计算节点和所述第二计算节点两者位于所述计算系统中的第一计算设备，从所述第二计算节点的存储器向所述第一计算节点的存储器写入所述第二子模型。

4.根据权利要求3的所述方法，其中向所述第一计算节点的所述存储器写入所述第二子模型包括：

基于所述第一计算节点的所述存储器的存储器容量和所述第二子模型的大小，确定所述第一计算节点的所述存储器可容纳的子模型的阈值数量；以及

响应于确定所述第一计算节点的所述存储器中的子模型的数量低于所述阈值数量，向所述第一计算节点的所述存储器写入所述第二子模型。

5.根据权利要求4的所述方法，其中所述第一计算节点的所述存储器包括所述机器学习模型的第三子模型，所述方法进一步包括：响应于确定所述第一计算节点的所述存储器中的子模型的所述数量等于所述阈值数量，

响应于确定所述第一计算节点的所述存储器中的所述第三子模型的第三更新参数已经被传输，从所述第一计算节点的所述存储器释放所述第三子模型；以及

向所述第一计算节点的所述存储器写入所述第二子模型。

6.根据权利要求4的所述方法，其中所述第一计算设备进一步包括第三计算节点，以及向第一计算节点的所述存储器写入所述第二子模型进一步包括：

响应于接收到来自所述第三计算节点的读取所述第二子模型的请求，确定分别由所述第一计算节点和所述第三计算节点读取所述第二子模型的顺序；以及

基于所述顺序来分别由所述第一计算节点和所述第三计算节点读取所述第二子模型，以便向所述第一计算节点的所述存储器和所述第三计算节点的所述存储器的写入所述第二子模型。

7.根据权利要求3的所述方法，其中获取所述第二子模型进一步包括：响应于确定所述第一计算节点和所述第二计算节点分别位于所述计算系统中的所述第一计算设备和第二计算设备，

经由所述第一计算设备和所述第二计算设备之间的第一类型的通信链路，从所述第二计算设备的存储器向所述第一计算设备的存储器写入所述第二子模型；以及

经由所述第一计算设备和所述第一计算节点之间的第二类型的通信链路，从所述第一计算设备的所述存储器向所述第一计算节点的所述存储器写入所述第二子模型。

8.根据权利要求7的所述方法，其中所述第一计算设备进一步包括第三计算节点，以及所述方法进一步包括：

响应于来自所述第三计算节点的请求，经由所述第一计算设备和所述第三计算节点之间的第二类型的通信链路，从所述第一计算设备的所述存储器向所述第三计算节点的所述存储器写入所述第二子模型；以及

经由所述第一计算节点和所述第三计算节点之间的第三类型的通信链路，从所述第三计算节点的所述存储器向所述第一计算节点的所述存储器写入所述第二子模型。

9.根据权利要求8的所述方法，其中所述第一计算节点、所述第二计算节点和所述第三计算节点是图形处理单元。