[发明专利]任务处理模型训练、任务处理方法、装置及设备

权利要求书

1.一种任务处理模型训练方法，其特征在于，包括：

获取训练数据集，所述训练数据集中包括多个训练数据，每个训练数据对应有标签，所述标签与用户需求的任务处理模型所具备的功能相关；

使用所述训练数据集对预设模型进行迭代训练，得到任务处理模型；所述预设模型在第i次迭代训练时所使用的权重分布矩阵，为对所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵进行调整得到的，所述任务处理模型用于进行目标任务的处理，所述目标任务为用户需求的所述任务处理模型所具备的功能，其中，所述i为大于或等于2的整数；

输出所述任务处理模型。

2.根据权利要求1所述的方法，其特征在于，所述使用所述训练数据集对于预设模型进行迭代训练，得到任务处理模型，包括：

针对第i次迭代训练，根据所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵，确定所述预设模型对应的第i-1次的权重调整参数；

根据所述第i-1次的权重调整参数，对所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵进行调整，得到所述预设模型在第i次迭代训练时所使用的权重分布矩阵，其中，所述第i-1次的权重调整参数用于对所述第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵中每个权重的更新范围进行约束；

使用第i次的权重分布矩阵和所述训练数据集，对所述预设模型进行第i次迭代训练。

3.根据权利要求2所述的方法，其特征在于，所述根据所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵，确定所述预设模型对应的第i-1次的权重调整参数，包括：

确定所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵的最大奇异值；

将所述第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵的最大奇异值，作为所述第i-1次的权重调整参数。

4.根据权利要求3所述的方法，其特征在于，所述确定所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵的最大奇异值，包括：

步骤a、根据所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵的第j-1次的第一参数向量对所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵进行左乘运算，得到所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵的第j次的第二参数向量，其中，所述j为大于或等于2的整数；

步骤b、根据所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵的第j次的第二参数向量对所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵进行左乘运算，得到所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵的第j次的第一参数向量；

步骤c、确定j的取值是否达到预设数值；

步骤d、若j的取值达到预设数值，则根据所述第j次的第一参数向量和所述第j次的第二参数向量确定所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵的最大奇异值；

步骤e、若j的取值未达到预设数值，则将j加1，并返回步骤a。

5.根据权利要求4所述的方法，其特征在于，所述j的取值为2时，所述第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵的第j-1次的左乘结果为从高斯分布中随机采样得到的随机向量。

6.根据权利要求2-5任一项所述的方法，其特征在于，所述根据所述第i-1次的权重调整参数，对所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵进行调整，得到所述预设模型在第i次迭代训练时所使用的权重分布矩阵，包括：

将所述预设模型在第i-1次迭代训练时基于梯度下降法更新后的权重分布矩阵中的每个权重除以所述第i-1次的权重调整参数，得到所述预设模型在第i次迭代训练时所使用的权重分布矩阵。