[发明专利]模型训练、文本预测方法、装置、电子设备及介质

权利要求书

1.一种模型训练方法，其特征在于，包括：

获取训练文本，并利用所述训练文本和预设文本模板生成训练输入数据；

将所述训练输入数据输入copynet模型，得到训练输出数据；

将所述训练输出数据输入预训练模型，得到训练预测值；

利用所述训练预测值与所述训练文本的训练标签计算损失值，并利用所述损失值调节所述copynet模型的参数；

若检测到满足训练完成条件，则将参数调节后的copynet模型确定为文本特征提取模型。

2.根据权利要求1所述的模型训练方法，其特征在于，所述copynet模型具有dropout机制，所述copynet模型的dropout机制处于激活状态；所述将参数调节后的copynet模型确定为文本特征提取模型，包括：

将所述参数调节后的copynet模型的dropout机制设置为未激活状态，得到所述文本特征提取模型。

3.根据权利要求2所述的模型训练方法，其特征在于，所述将所述训练输入数据输入copynet模型，得到训练输出数据，包括：

利用所述copynet模型对所述训练输入数据进行两次基于随机dropout的特征提取处理，得到第一训练输出数据和第二训练输出数据；

相应的，所述将所述训练输出数据输入预训练模型，得到训练预测值，包括：

将所述第一训练输出数据和所述第二训练输出数据分别输入所述预训练模型，得到第一训练预测值和第二训练预测值。

4.根据权利要求3所述的模型训练方法，其特征在于，所述利用所述训练预测值与所述训练文本的训练标签计算损失值，并利用所述损失值调节所述copynet模型的参数，包括：

利用所述第一训练预测值和所述第二训练预测值计算相对熵损失值；

利用所述训练标签分别与所述第一训练预测值和所述第二训练预测值进行损失计算，得到第一损失值和第二损失值；

利用所述相对熵损失值、所述第一损失值和所述第二损失值生成所述损失值。

5.根据权利要求1所述的模型训练方法，其特征在于，所述利用所述训练文本和预设文本模板生成训练输入数据，包括：

将所述训练文本插入所述预设文本模板的指定位置，得到训练输入序列；

对所述训练输入序列进行词向量编码，得到所述训练输入数据。

6.一种文本预测方法，其特征在于，包括：

获取待预测文本，利用所述待预测文本和预设文本模板生成待预测输入数据；

将所述待预测输入数据输入文本特征提取模型，得到输入特征；所述文本特征提取模型根据如权利要求1至5任一项所述的模型训练方法生成；

将所述输入特征输入预训练模型，得到预测结果；所述预训练模型预先利用无标注文本训练得到。

7.一种模型训练装置，其特征在于，包括：

训练获取模块，用于获取训练文本，并利用所述训练文本和预设文本模板生成训练输入数据；

训练输入模块，用于将所述训练输入数据输入copynet模型，得到训练输出数据；

训练预测模块，用于将所述训练输出数据输入预训练模型，得到训练预测值；

损失计算模块，用于利用所述训练预测值与所述训练文本的训练标签计算损失值，并利用所述损失值调节所述copynet模型的参数；

模型确定模块，用于若检测到满足训练完成条件，则将参数调节后的copynet模型确定为文本特征提取模型。

8.一种文本预测装置，其特征在于，包括：

获取模块，用于获取待预测文本，利用所述待预测文本和预设文本模板生成待预测输入数据；

特征提取模块，用于将所述待预测输入数据输入文本特征提取模型，得到输入特征；所述文本特征提取模型根据如权利要求1至5任一项所述的模型训练方法生成；

预测模块，用于将所述输入特征输入预训练模型，得到预测结果；所述预训练模型预先利用无标注文本训练得到。