[发明专利]一种基于人工智能的模型训练方法、装置、服务器及介质

说明书

本申请实施例公开了一种基于人工智能的模型训练方法、装置、服务器及介质，其中方法包括：获取基于序列数据训练得到的包括多个模型参数的神经网络模型；在对多个模型参数中的第一模型参数进行裁剪后，对第二模型参数进行训练，第二模型参数为多个模型参数中除第一模型参数之外的模型参数；在对第二模型参数训练完成后，对第一模型参数进行训练，以恢复第一模型参数在神经网络模型中的数据处理能力，其中，在对第一模型参数训练完成后，得到序列到序列处理模型，序列到序列处理模型用于根据输入序列生成匹配的输出序列。通过实施上述方法，可以有效的提升模型参数的利用率，并且有助于提升序列到序列处理模型处理序列数据时的准确度。

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于人工智能的模型训练方法、装置、服务器及介质。

背景技术

随着计算机技术的快速发展，人工智能技术在很多领域得到了应用，其中，人工智能技术中的深度神经网络的应用也越来越广泛，比如语音识别技术，计算机视觉技术，自然语言处理技术等领域，并且深度神经网络模型在多种任务中表现出色，特别是机器翻译任务。机器翻译中所利用的神经网络机器翻译(Neural Machine Translation，NMT)模型可以利用大量参数以具备足够的能力来拟合海量数据，但是过量的参数存在过参数化的问题。目前，为解决过参数化的问题，通常将对模型参数进行删除后增加一个继续训练阶段，这种方法虽然可以删除部分参数不造成性能损失。但是会导致参数的利用效率比较低，从而造成计算资源的浪费，也容易使模型陷入局部最优，而无法使模型达到最优性能。

发明内容

本申请实施例提供了一种基于人工智能的模型训练方法、装置、服务器及介质，可以有效的提升模型参数的利用率，并且有助于提升序列到序列处理模型处理序列数据时的准确度。

本申请实施例第一方面公开了一种基于人工智能的模型训练方法，所述方法包括：

获取神经网络模型，所述神经网络模型包括多个模型参数，所述神经网络模型是基于序列数据训练得到的；

在对所述多个模型参数中的第一模型参数进行裁剪后，对第二模型参数进行训练，所述第二模型参数为所述多个模型参数中除所述第一模型参数之外的模型参数；

在对所述第二模型参数训练完成后，对所述第一模型参数进行训练，以恢复所述第一模型参数在所述神经网络模型中的数据处理能力，其中，在对所述第一模型参数训练完成后，得到序列到序列处理模型，所述序列到序列处理模型用于根据输入序列生成匹配的输出序列。

本申请实施例第二方面公开了一种基于人工智能的模型训练装置，所述装置包括：

获取单元，用于获取神经网络模型，所述神经网络模型包括多个模型参数，所述神经网络模型是基于序列数据训练得到的；

第一训练单元，用于在对所述多个模型参数中的第一模型参数进行裁剪后，对第二模型参数进行训练，所述第二模型参数为所述多个模型参数中除所述第一模型参数之外的模型参数；

第二训练单元，用于在对所述第二模型参数训练完成后，对所述第一模型参数进行训练，以恢复所述第一模型参数在所述神经网络模型中的数据处理能力，其中，在对所述第一模型参数训练完成后，得到序列到序列处理模型，所述序列到序列处理模型用于根据输入序列生成匹配的输出序列。

本申请实施例第三方面公开了一种服务器，包括处理器、存储器和网络接口，所述处理器、存储器和网络接口相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

本申请实施例第四方面公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。