[发明专利]模型训练、文本预测方法、装置、电子设备及介质

说明书

本申请公开了模型训练、文本预测方法、装置、电子设备及计算机可读存储介质，该方法包括：获取训练文本，并利用训练文本和预设文本模板生成训练输入数据；将训练输入数据输入copynet模型，得到训练输出数据；将训练输出数据输入预训练模型，得到训练预测值；利用训练预测值与训练文本的训练标签计算损失值，并利用损失值调节copynet模型的参数；若检测到满足训练完成条件，则将参数调节后的copynet模型确定为文本特征提取模型；其中，文本特征提取模型用于对需要由预训练模型进行预测的待预测数据进行特征提取，得到用于输入预训练模型的输入特征；该方法能够得到最优的用于输入预训练模型的输入特征。

技术领域

本申请涉及文本处理技术领域，特别涉及模型训练、文本预测方法、模型训练、文本预测装置、电子设备及计算机可读存储介质。

背景技术

大规模预训练语言模型是近年人工智能领域中最受关注、最有突破性的技术方法。语言模型旨在对自然语言文本进行概率建模，可用于估计任意一个给定文本序列的概率，或者预测文本序列中词在某个位置上出现的概率，是文本语义理解和表示建模的关键技术。为了能够提高大规模预训练语言模型在应用时的准确性，相关技术采用p-tuning方法对输入预训练模型的输入文本数据进行处理，将离散的自然语言数据处理成连续数据，使得保留的信息更多。然而p-tuning的方法需要由人工在输入文本数据中指定锚点词以及锚点词在连续数据中的位置，这使得连续数据的生成过程不是在全空间中进行，而是进行了人为约束，导致生成的连续数据并不是最优情况，进而导致预训练语言模型的预测准确率低。

发明内容

有鉴于此，本申请的目的在于提供模型训练、文本预测方法、装置、电子设备及计算机可读存储介质，得到最优的用于输入预训练模型的输入特征。

为解决上述技术问题，本申请提供了一种模型训练方法，包括：

获取训练文本，并利用所述训练文本和预设文本模板生成训练输入数据；

将所述训练输入数据输入copynet模型，得到训练输出数据；

将所述训练输出数据输入预训练模型，得到训练预测值；

利用所述训练预测值与所述训练文本的训练标签计算损失值，并利用所述损失值调节所述copynet模型的参数；

若检测到满足训练完成条件，则将参数调节后的copynet模型确定为文本特征提取模型。

可选地，所述copynet模型具有dropout机制，所述copynet模型的dropout机制处于激活状态；所述将参数调节后的copynet模型确定为文本特征提取模型，包括：

将所述参数调节后的copynet模型的dropout机制设置为未激活状态，得到所述文本特征提取模型。

可选地，所述将所述训练输入数据输入copynet模型，得到训练输出数据，包括：

利用所述copynet模型对所述训练输入数据进行两次基于随机dropout的特征提取处理，得到第一训练输出数据和第二训练输出数据；

相应的，所述将所述训练输出数据输入预训练模型，得到训练预测值，包括：

将所述第一训练输出数据和所述第二训练输出数据分别输入所述预训练模型，得到第一训练预测值和第二训练预测值。

可选地，所述利用所述训练预测值与所述训练文本的训练标签计算损失值，并利用所述损失值调节所述copynet模型的参数，包括：

利用所述第一训练预测值和所述第二训练预测值计算相对熵损失值；

利用所述训练标签分别与所述第一训练预测值和所述第二训练预测值进行损失计算，得到第一损失值和第二损失值；