[发明专利]数据训练方法及装置、存储介质、电子装置

说明书

本发明提供了一种数据训练方法及装置、存储介质、电子装置，其中，该方法包括：确定样本数据和可用的集群资源；将总训练模型拆分为多个子模型；使用集群资源在多个子模型上并行训练样本数据。通过本发明，解决了相关技术中训练样本数据效率过低的技术问题。

技术领域

本发明涉及人工智能领域，具体而言，涉及一种数据训练方法及装置、存储介质、电子装置。

背景技术

相关技术中，深度学习模型(Deep Learning Models)的训练需要消耗庞大的计算力，完成一次训练的耗时经常达到数天甚至数月。因此，为了加快深度学习模型的训练，通常采用增加处理设备，优化训练模型来实现，但第一种会加大网络资源的投入量，第二种在短时间内也很难实现。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种数据训练方法及装置、存储介质、电子装置。

根据本发明的一个实施例，提供了一种数据训练方法，包括：确定样本数据和可用的集群资源；将总训练模型拆分为多个子模型；使用所述集群资源在所述多个子模型上并行训练所述样本数据。

根据本发明的另一个实施例，提供了一种数据训练装置，包括：确定模块，用于确定样本数据和可用的集群资源；拆分模块，用于将总训练模型拆分为多个子模型；训练模块，用于使用所述集群资源在所述多个子模型上并行训练所述样本数据。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，通过将总训练模型拆分为多个子模型，然后在多个子模型上并行训练样本数据，解决了相关技术中训练样本数据效率过低的技术问题，在不增加网络资源的情况下，提高了训练样本数据的速度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据训练方法的流程图；

图2是根据本发明实施例的数据训练装置的结构框图；

图3是本实施例提供的并行算法示意图；

图4是本实施例提供的基于输入拆分方案示意图；

图5是本实施例提供的Split-Concat算子优化方案示意图；

图6是本实施例提供的基于参数拆分方案示意图；

图7是根据本实施例提供的交互流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

在本实施例中提供了一种数据训练方法，图1是根据本发明实施例的数据训练方法的流程图，如图1所示，该流程包括如下步骤：

步骤S102，确定样本数据和可用的集群资源；