[发明专利]模型训练方法、平台和电子设备

说明书

本申请公开了一种模型训练方法、平台和电子设备，通过第一集群将待训练数据转换为第一编程语言对应的第一数据，并将第一数据存储至预设存储空间；通过第二集群在预设存储空间获取第一数据；通过第二集群将第一数据转换为第二编程语言对应的第二数据，并根据第二数据进行分布式模型训练。由于本申请的方案中，第一集群根据其对应的第一编程语言来处理数据，第二集群根据其对应第二编程语言进行模型训练，两个集群均使用其适用的编程语言进行结合，可以保障各集群的运行效率，也无需限制结合的两个集群支持相同的数据格式，从而在满足大数据集的基础上进行深度神经网络模型训练的同时，提升神经网络模型训练效率。

技术领域

本申请涉及人工智能领域，尤其涉及一种模型训练方法、平台和电子设备。

背景技术

随着人工智能的兴起，深度学习在人工智能领域有着广泛的应用前景，例如，系统辨识、模式识别、智能控制等都离不开深度学习。在深度学习过程中，通过使用训练数据不断的求导迭代更新模型，来实现模型训练，且训练数据集越大，训练的模型性能越好，因此，在大数据集的基础上训练的深度神经网络模型显得尤为重要。

在现有技术中，通常选择支持同样数据格式的集群结合，实现在大数据集的基础上进行深度神经网络模型训练。然而，若集群是基于不同语言开发，会造成其中的一个或者多个集群的运行效率较低，最终导致模型训练的效率较低。

发明内容

本申请的主要目的在于提供一种模型训练方法、平台和电子设备，提供一种模型训练方案，旨在解决现有技术中，将不同集群结合，实现在大数据集的基础上训练神经网络模型时，模型训练效率低的技术问题。

为实现上述目的，本申请提供一种模型训练方法，应用于模型训练平台，模型训练平台中设置有第一集群和第二集群，第一集群对应第一编程语言，第二集群对应第二编程语言，该模型训练方法包括：

通过第一集群将待训练数据转换为第一编程语言对应的第一数据，并将第一数据存储至预设存储空间，第一数据为第一格式；

通过第二集群在预设存储空间获取第一数据；

通过第二集群将第一数据转换为第二编程语言对应的第二数据，并根据第二数据进行分布式模型训练，第二数据为第二格式。

可选的，通过第一集群将待训练数据转换为第一编程语言对应的第一数据，包括：

通过第一集群将待训练数据划分为M份子训练数据，其中，M为大于1的整数；

通过第一集群，在M份子训练数据中确定M个分区各自对应的一份子训练数据，M个分区为第一集群中的分区；

通过第一集群，分别在每个分区中对各自对应的子训练数据进行格式转换，得到M份第一子数据，第一子数据为第一格式，第一数据包括M份第一子数据。

可选的，通过第一集群，分别在每个分区中对各自对应的子训练数据进行格式转换，得到M份第一子数据，包括：

针对M个分区中的任意一个分区，通过第一集群在分区中将分区对应的子训练数据转换为二维数组格式的数据；

通过第一集群将二维数据格式的数据转换为一维数组格式的第一子数据，第一格式为一维数组格式。

可选的，将第一数据存储至预设存储空间，包括：

通过第一集群确定每份第一子数据对应的子存储空间，预设存储空间包括M份第一子数据对应的子存储空间；

通过第一集群分别将每份第一子数据存储至对应的子存储空间。

可选的，预设存储空间为堆外内存。

可选的，预设存储空间包括M个子存储空间，第二集群中设置有N个模型训练进程，N为大于或等于2的整数；通过第二集群在预设存储空间获取第一数据，包括：