[发明专利]模型训练方法、平台和电子设备

权利要求书

1.一种模型训练方法，其特征在于，应用于模型训练平台，所述模型训练平台中设置有第一集群和第二集群，所述第一集群对应第一编程语言，所述第二集群对应第二编程语言，所述方法包括：

通过所述第一集群将待训练数据转换为所述第一编程语言对应的第一数据，并将所述第一数据存储至预设存储空间，所述第一数据为第一格式；

通过所述第二集群在所述预设存储空间获取所述第一数据；

通过所述第二集群将所述第一数据转换为所述第二编程语言对应的第二数据，并根据所述第二数据进行分布式模型训练，所述第二数据为第二格式。

2.根据权利要求1所述的方法，其特征在于，所述通过所述第一集群将待训练数据转换为所述第一编程语言对应的第一数据，包括：

通过所述第一集群将所述待训练数据划分为M份子训练数据，其中，M为大于1的整数；

通过所述第一集群，在所述M份子训练数据中确定M个分区各自对应的一份子训练数据，所述M个分区为所述第一集群中的分区；

通过所述第一集群，分别在每个分区中对各自对应的子训练数据进行格式转换，得到M份第一子数据，所述第一子数据为所述第一格式，所述第一数据包括所述M份第一子数据。

3.根据权利要求2所述的方法，其特征在于，所述通过所述第一集群，分别在每个分区中对各自对应的子训练数据进行格式转换，得到M份第一子数据，包括：

针对所述M个分区中的任意一个分区，通过所述第一集群在所述分区中将所述分区对应的子训练数据转换为二维数组格式的数据；

通过所述第一集群将所述二维数据格式的数据转换为一维数组格式的第一子数据，所述第一格式为所述一维数组格式。

4.根据权利要求2所述的方法，其特征在于，所述将所述第一数据存储至预设存储空间，包括：

通过所述第一集群确定每份第一子数据对应的子存储空间，所述预设存储空间包括所述M份第一子数据对应的子存储空间；

通过所述第一集群分别将每份第一子数据存储至对应的子存储空间。

5.根据权利要求4所述的方法，其特征在于，

所述预设存储空间为堆外内存。

6.根据权利要求1所述的方法，其特征在于，所述预设存储空间包括M个子存储空间，所述第二集群中设置有N个模型训练进程，N为大于或等于2的整数；所述通过第二集群在所述预设存储空间获取所述第一数据，包括：

通过所述第二集群，在所述M个子存储空间中确定每个模型训练进程对应的至少一个子存储空间；

通过所述第二集群中的每个模型训练进程获取各自对应的至少一个子存储空间中的第一子数据，所述第一数据包括所述至少M个子存储空间中的第一子数据。

7.根据权利要求6所述的方法，其特征在于，所述通过所述第二集群将所述第一数据转换为所述第二编程语言对应的第二数据，包括：

针对所述N个模型训练进程中的任意一个模型训练进程，将所述模型训练进程对应的至少一个子存储空间中的第一子数据进行合并处理，得到合并子数据；

通过所述第二集群对所述合并子数据进行格式转换，得到所述模型训练进程对应的第二子数据，所述第二子数据的格式为第二格式，所述第二数据包括所述N个模型训练进程对应的第二子数据。

8.根据权利要求7所述的方法，其特征在于，所述根据所述第二数据进行分布式模型训练，包括：

通过所述第二集群确定每个模型训练进程对应的系统参数和模型参数；

针对所述N个模型训练进程中的任意一个模型训练进程，根据所述模型训练进程对应的系统参数和模型参数，对所述模型训练进程对应的第二子数据进行分布式模型训练。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述通过第二集群在所述预设存储空间获取所述第一数据之前，还包括：

通过预设程序向所述第二集群发送调用指令，所述调用指令用于调用所述第二集群执行分布式模型训练，所述预设程序为通过所述第一编程语言实现的程序。