[发明专利]数据模型训练方法、装置、电子设备及可读介质

说明书

本申请提供一种数据模型训练方法、装置、电子设备及可读介质，该方法包括：按照预定规则将训练数据进行分组处理，生成多个分组数据；将所述多个分组数据分别输入多个数据模型中进行数据训练，所述多个数据模型运行在多个虚拟容器中；在数据训练后获取多个数据模型的多组模型参数；以及通过所述多组模型参数分别确定多个第一数据模型。本申请的数据模型训练方法、装置、电子设备及可读介质，能够提高算法模型在面对海量样本时的训练速度，极大地缩短了算法寻优时间和交付时间，并提高准确率和稳定性。

技术领域

本申请涉及机器学习领域，尤其涉及一种数据模型训练方法、装置、电子设备及计算机可读介质。

背景技术

机器学习是通过机器学习算法，使机器能够从已有的大量的数据样本中学习规律，从而当输入新的数据样本时，机器可实现智能识别或预测功能。大量研究表明，参与训练的样本越多，机器学习算法模型收敛的准确度就相对越高。而现有的机器学习算法在其开发训练的流程中，通常由算法工程师先在部分少量的样本上做试验，不断改进算法模型，提升算法的准确度以达到业务要求；再由软件工程师对算法模型进行工程实现并上线，由于在整体样本上算法的准确度无法保障，经常需要很长时间的线上改进，才能达到一个稳定的状态。

然而，上述对算法模型的训练流程具有一定的缺陷，具体如下所述：

(1)由于算法工程师在部分样本的上做的试验，基于部分样本调整的算法参数，在整体样本未必最优，一般都需要重新调整，但是在海量的整体样本中，一次参数验证就可能需要耗费十几个小时，寻优过程非常缓慢，无法在短时间内找到最优参数。且不能做到参数随着样本的增长自动调整。

(2)算法工程师开发的算法代码依赖了很多科学算法包，由于算法的开发环境和线上环境的差异，会浪费算法工程师和软件工程师大量重复的劳动，在工程实现中，经常碰到数据倾斜问题和内存溢出问题，算法工程实现较难。

(3)算法工程师开发的算法代码，一般都是单机运行的，不能在分布式的环境下运行，算法执行效率低。

发明内容

有鉴于此，本申请提供一种数据模型训练方法、装置、电子设备及计算机可读介质，能够提高算法模型在面对海量样本时的训练速度，极大地缩短了算法寻优时间和交付时间，并提高准确率和稳定性。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的第一方面，提出一种数据模型训练方法，该方法包括：按照预定规则将训练数据进行分组处理，生成多个分组数据；将所述多个分组数据分别输入多个数据模型中进行数据训练，所述多个数据模型运行在多个虚拟容器中；在数据训练后获取多个数据模型的多组模型参数；以及通过所述多组模型参数分别确定多个第一数据模型。

在本申请的一种示例性实施例中，还包括：对原始数据进行预处理以生成所述训练数据。

在本申请的一种示例性实施例中，对原始数据进行预处理以生成所述训练数据包括：将原始数据按照时间进行排序以生成所述训练数据。

在本申请的一种示例性实施例中，按照预定规则将所述训练数据进行分组处理，生成多个分组数据包括：按照商品类别将所述训练数据进行分组处理，生成多个分组数据。

在本申请的一种示例性实施例中，按照商品类别将所述训练数据进行分组处理，生成多个分组数据包括：按照商品类别所述训练数据进行分组处理，生成多个第一分组数据；以及按照所述第一分组数据的数据量将所述第一分组数据进行分组处理，以生成所述多个分组数据。

在本申请的一种示例性实施例中，还包括：将所述多个分组数据分别输入多个数据模型中进行数据训练，所述多个数据模型运行在多个虚拟容器中包括：将所述多个分组数据储存在多个任务执行单元中；以及将多个任务执行单元与多个虚拟容器进行关联以进行数据训练。