[发明专利]通过元学习实现语法改错少样本领域适应的方法及系统

说明书

本发明公开了一种通过元学习实现语法改错少样本领域适应的方法及系统，该方法包括：构建预训练数据集，其包括二语学习者所写的句子和母语修改者修改后的句子；构建源领域数据集，其包括多个领域的语法改错数据；构建目标领域数据集，其包括验证领域的数据和测试领域的数据；先使用预训练数据集对语法改错模型进行预训练；然后，使用源领域数据集对模型进行元训练；基于目标领域数据集，对元训练后的语法改错模型进行微调，使得调整后的语法改错模型可以对目标领域数据集中的数据进行语法改错的测试。本发明在语法改错系统的基础上，使用元学习技术实现了语法改错在少样本领域的适应，提升了语法改错的性能。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种通过元学习实现语法改错少样本领域适应的方法及系统。

背景技术

语法改错任务可以对输入的可能含有语法错误的句子进行语法错误的定位和修改，输出修改后的句子，在二语教学、二语学习者写作等方面具有重大的理论价值和实践意义。但是，由于有的领域样本较少，且现有的大多数基于序列到序列的语法错误校正方法主要集中在如何产生更多的伪数据，以获得更好的性能上，但是要产生更多的伪数据依然需要许多的原生数据，故低资源的条件下，使得语法改错任务准确率不理想。现有的语法改错技术一般基于深度学习，使用二语学习者所写的句子和母语修改者修改后的句子形成的句对作为输入，并使用循环神经网络或卷积神经网络对生成过程进行建模。

由于现有的大多数基于序列到序列的语法错误校正方法主要集中在如何产生更多的伪数据，以获得更好的性能上，很少有工作涉及少样本领域的语法改错域适应，故现有的语法改错方法仍有许多不足之处。

首先，目前而言，语法改错任务存在部分领域样本较少的问题。例如，将汉语作为第二语言的二语学习者的作文语料库中，将二语学习者的母语设为领域，母语是蒙古语的学习者人数较少，因此母语是蒙古语的领域样本较少。这就容易造成在模型的训练过程中出现过拟合的问题，从而导致语法改错系统的性能不够理想。其次，现有的大多数基于序列到序列的语法错误校正方法主要集中在如何产生更多的伪数据，以获得更好的性能上，但想要生成特定领域的数据，仍然需要大量的该领域内的真实数据，故通过伪数据的方式并不能有效地解决少样本领域自适应的问题。最后，少样本领域学习的实际场景中，数据量缺乏会带来领域漂移的问题。故，有必要对现有的语法改错技术进行改进。

发明内容

本发明提供了一种通过元学习实现语法改错少样本领域适应的方法及系统，以解决现有的语法改错技术无法实现少样本领域自适应的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种通过元学习实现语法改错少样本领域适应的方法，该通过元学习实现语法改错少样本领域适应的方法包括：

构建预训练数据集，所述预训练数据集中包括二语学习者所写的句子和母语修改者对二语学习者所写的句子的语法进行修改后的句子；

构建源领域数据集，所述源领域数据集中包括多个领域的语法改错数据；

构建目标领域数据集，所述目标领域数据集中包括验证领域的数据和测试领域的数据；

先使用所述预训练数据集对预设的语法改错模型进行预训练；然后，使用所述源领域数据集对预训练后的语法改错模型进行元训练；

基于所述目标领域数据集，对元训练后的语法改错模型进行预设参数的调整，使得调整后的语法改错模型可以应用于对所述目标领域数据集中的数据进行语法改错的测试。

其中，所述语法改错模型以二语学习者所写的句子和母语修改者对二语学习者所写的句子的语法进行修改后的句子一一对应，形成句对作为输入。

其中，所述少样本领域为二语学习者语法改错数据量小于预设值的领域。

其中，所述预设的语法改错模型为基于梯度下降的语法改错模型。