[发明专利]智能分配模型训练内存方法、装置及计算机可读存储介质

说明书

本发明涉及人工智能技术，揭露了一种智能分配模型训练内存的方法，包括构建PyTorch框架并接收训练数据，并将所述训练数据随机分为单元数据集A和单元数据集B，将所述单元数据集A运算后得到小批量梯度数据集，将所述小批量梯度数据集输入至循环神经网络中进行反向传播训练得到训练值，直至所述循环神经网络的训练值小于预设阈值时，所述循环神经网络退出训练并输出内存空间余量值，根据所述内存空间余量值计算多种机器学习模型所占用的模型训练内存，根据所述模型训练空间将所述单元数据集B分别导入所述多种机器学习模型进行训练。本发明还提出一种智能分配模型训练内存的装置以及一种计算机可读存储介质。本发明可以实现智能分配模型训练内存功能。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于梯度下降的智能分配模型训练内存方法、装置及计算机可读存储介质。

背景技术

目前机器学习技术应用广泛，集成化的机器学习系统也越来越多的被采用，所述集成化的机器学习系统就是同时应用多种机器学习模型进行训练。但所述集成化的机器学习效果和速度常常受制于内存性能和空间，这样导致了模型训练速度慢且准确度不高。如果通过单纯拓展内存空间的方式来提高模型训练的效率，成本高昂，效益不佳，应用范围很窄。

发明内容

本发明提供一种智能分配模型训练内存的方法、装置及计算机可读存储介质，其主要目的在于利用循环神经网络计算模型训练内存的容量，并基于所述计算出的容量，利用梯度下降算法分配模型训练内存，提高模型训练的效率。

为实现上述目的，本发明提供的一种智能分配模型训练内存的方法，包括：

在python环境构建PyTorch框架，所述PyTorch框架包括多种机器学习模型，利用所述PyTorch框架接收训练数据，并将所述训练数据随机分割为单元数据集A和单元数据集B；

将所述单元数据集A采用批量梯度下降法运算后得到小批量梯度数据集，利用所述PyTorch框架创建循环神经网络，将所述小批量梯度数据集输入至所述循环神经网络中进行反向传播训练得到训练值，直至所述循环神经网络的训练值小于预设阈值时，所述循环神经网络退出训练并输出所述反向传播训练的内存空间余量值；

根据所述内存空间余量值，计算多种机器学习模型训练所述单元数据集B时所占用的模型训练内存，根据所述模型训练内存将所述单元数据集B分别导入所述多种机器学习模型进行训练，直至所述多种机器学习模型的训练值收敛于预设区间时完成训练。

可选地，所述多种机器学习模型包括朴素贝叶斯、支持向量机、卷积神经网络；

所述训练数据按照数据格式划分为文本数据、图片数据。

可选地，将所述小批量梯度数据集输入至所述循环神经网络中进行反向传播训练得到训练值，包括：

将所述小批量梯度集输入至所述循环神经网络模型的隐藏层中；

所述隐藏层将所述隐藏层的基本参数与所述小批量梯度集进行卷积运算得到卷积梯度值。

可选地，所述卷积运算为：

其中ω'为所述内存空间余量值，ω为所述小批量梯度数据集，k为卷积核的大小，s为卷积操作的步幅，p为数据补零矩阵。

可选地，将所述单元数据集A采用批量梯度下降法运算后得到小批量梯度数据集，包括：

求出所述单元数据集A的损失函数loss为：

其中，b为所述单元数据集A的样本个数，y_θ(x⁽ⁱ⁾)为所述单元数据集A的预测值，y⁽ⁱ⁾为所述单元数据集A的真实值，x为所述单元数据集A的加权平均值，θ为所述单元数据集A所包含的预估参数值；