[发明专利]主动学习平行语料构建方法

权利要求书

1.一种主动学习平行语料构建方法，应用于低资源语言神经机器翻译，而且，应用在基于注意力机制且采用encoder-decoder框架的NMT模型，其特征在于，包括：

获取原始平行语料和源端单语；

获取所述原始平行语料的embedding和所述源端单语的embedding；

计算所述源端单语中的每句话和所述原始平行语料的相似度，Sscore(s)＝max(cos(emb(s),emb(l))),其中s是所述源端单语中的句子，emb(n)表示一l∈L

个句子的embedding，Sscore(s)表示句子s和平行语料数据集的相似性，Sscore越大表示越不相似；

对所述源端单语中的每句话按照相似程度进行排序，选择前面设定百分比的句子；

获取上述“前面设定百分比的句子”进行人工翻译后的目标端单语；

将所述人工翻译后的目标端单语和上述“前面设定百分比的句子”构成的平行语料加入到所述原始平行语料中，组成新的平行语料；

用所述新的平行语料，训练出新的模型；

将上述“前面设定百分比的句子”从所述源端单语中删除，得到新的源端单语；

迭代上述过程，直到所述源端单语被选择完毕或者训练出的模型符合预期目标。

2.根据权利要求1所述的主动学习平行语料构建方法，其特征在于，“获取所述原始平行语料的embedding和所述源端单语的embedding”中使用fasttext工具得到所述原始平行语料的embedding和所述源端单语的embedding。

3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1到2任一项所述方法的步骤。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1到2任一项所述方法的步骤。

5.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1到2任一项所述的方法。