[发明专利]通过元学习实现语法改错少样本领域适应的方法及系统

权利要求书

1.一种通过元学习实现语法改错少样本领域适应的方法，其特征在于，所述通过元学习实现语法改错少样本领域适应的方法包括：

构建预训练数据集，所述预训练数据集中包括二语学习者所写的句子和母语修改者对二语学习者所写的句子的语法进行修改后的句子；

构建源领域数据集，所述源领域数据集中包括多个领域的语法改错数据；

构建目标领域数据集，所述目标领域数据集包括验证领域的数据和测试领域的数据；

先使用所述预训练数据集对预设的语法改错模型进行预训练；然后，使用所述源领域数据集对预训练后的语法改错模型进行元训练；

基于所述目标领域数据集，对元训练后的语法改错模型进行预设参数的调整，使得调整后的语法改错模型可以应用于对所述目标领域数据集中的数据进行语法改错的测试；

所述语法改错模型进行语法改错的过程，包括：

获取待改错的句子X＝{x₁,…,x_M}、相应的二语学习者的领域c，以及基于神经机器翻译的领域感知语法改错模型，对输出句子的条件概率Y＝{y₁,…,y_N}进行建模：其中，θ是模型参数；

首先将语法改错模型的参数适应到二语学习者领域c，然后以待改错的句子为条件对输出句子进行建模：其中，θ_c是适应到对应的二语学习者领域的模型参数的集合。

2.如权利要求1所述的通过元学习实现语法改错少样本领域适应的方法，其特征在于，所述语法改错模型以二语学习者所写的句子和母语修改者对二语学习者所写的句子的语法进行修改后的句子一一对应，形成句对作为输入。

3.如权利要求1所述的通过元学习实现语法改错少样本领域适应的方法，其特征在于，所述少样本领域为二语学习者语法改错数据量小于预设值的领域。

4.如权利要求1所述的通过元学习实现语法改错少样本领域适应的方法，其特征在于，所述预设的语法改错模型为基于梯度下降的语法改错模型。

5.如权利要求1所述的通过元学习实现语法改错少样本领域适应的方法，其特征在于，所述预训练为通过所述预训练数据集对预设的语法改错模型进行训练，以得到一套模型参数，利用得到的模型参数对模型进行初始化。

6.如权利要求1所述的通过元学习实现语法改错少样本领域适应的方法，其特征在于，所述学习者领域的定义标准为学习者的母语或熟练程度。

7.如权利要求1所述的通过元学习实现语法改错少样本领域适应的方法，其特征在于，使用源领域数据集对预训练后的语法改错模型进行元训练，包括：

定义一组源任务其中每个源任务是具有预设类型学习者领域的语法改错系统，而k是学习者的领域数；对于每个元学习事件，从τ中随机抽取任务然后，从的数据中独立抽取两个批次，分别是支持批次和查询批次首先使用更新语法改错模型参数：其中α是学习率，L是交叉熵损失函数，L的计算公式为：

在上评估更新后的参数并使用从该评估中计算出的梯度来更新原始模型参数θ，在更新θ前汇总多轮源任务，原始模型参数θ更新如下：其中，β为元学习率；

在元训练片段结束之后，从新的目标任务T_c的示例中完成预设类型任务的学习，以获得预设类型任务的模型参数θ_c。

8.如权利要求7所述的通过元学习实现语法改错少样本领域适应的方法，其特征在于，元参数的更新使用一阶近似值，以节省内存消耗。

9.一种通过元学习实现语法改错少样本领域适应的系统，其特征在于，所述通过元学习实现语法改错少样本领域适应的系统包括：

预训练数据集构建模块，用于构建预训练数据集，所述预训练数据集中包括二语学习者所写的句子和母语修改者对二语学习者所写的句子的语法进行修改后的句子；

源领域数据集构建模块，用于构建源领域数据集，所述源领域数据集中包括多个领域的语法改错数据；

目标领域数据集构建模块，用于构建目标领域数据集，所述目标领域数据集中包括验证领域的数据和测试领域的数据；

模型训练模块，用于先使用所述预训练数据集对预设的语法改错模型进行预训练；然后，使用所述源领域数据集对预训练后的语法改错模型进行元训练；

模型调整模块，用于基于所述目标领域数据集，对元训练后的语法改错模型进行预设参数的调整，使得调整后的语法改错模型可以应用于对所述目标领域数据集中的数据进行语法改错的测试；

所述语法改错模型进行语法改错的过程，包括：

获取待改错的句子X＝{x₁,…,x_M}、相应的二语学习者的领域c，以及基于神经机器翻译的领域感知语法改错模型，对输出句子的条件概率Y＝{y₁,…,y_N}进行建模：其中，θ是模型参数；

首先将语法改错模型的参数适应到二语学习者领域c，然后以待改错的句子为条件对输出句子进行建模：其中，θ_c是适应到对应的二语学习者领域的模型参数的集合。