[发明专利]一种基于用户词典的神经机器翻译方法

说明书

本发明公开一种基于用户词典的神经机器翻译方法，步骤为：通过网络爬虫技术从网络中爬取海量数据，抽取技术从语料中获取双语词对构建用户词典；使用用户词典对训练语料进行词典化，并抽取出来与原始语料混合在一起，作为神经网络模型训练的输入；对句对中所包含的用户词典占位符进行一致性检测；使用用户词典对训练数据进行处理，输入到神经网络模型中开始训练模型至模型收敛；输入包含用户词典的句子，获取词典信息替换占位符同时进行翻译，获得与用户词典中信息相匹配的高精度译文。本发明在翻译时很好地满足不同用户对名词性短语和命名实体的高精度需求，根据用户的需要及翻译习惯添加自定义的词典库，以达到不同用户对翻译译文的高质量要求。

技术领域

本发明涉及一种机器翻译方法，具体为一种基于用户词典的神经机器翻译方法。

背景技术

机器翻译实现了两种语言之间相互转化的功能，其翻译能力是从大批量平行语料中自动学习出来的。在神经机器翻译任务中，一个高性能的神经机器翻译系统需要大批量的双语语料作为输入，这些语料中的双语平行句对经分词后被处理为多个连续词序列的形式，之后再转化为向量形式输入到编码器中进行学习和训练。这种方法可以很好地学习到源语言和目标语之间的联系，但是并不能满足所有的翻译需求，在一些对翻译译文有着高精度要求的场景下，会出现如下译文不准确或者前后译文不一致的情况。

1)特定语境中的特殊翻译；

2)新名词的翻译；

3)成语、俗语以及专业术语的翻译；

4)关键词的拼写及大小写；

5)用户翻译时的用词习惯；

6)上下文中对于同一词语的翻译。

针对以上情况，当用户对译文中个别词或短语有高精度的翻译要求时，仅仅通过对平行语料中名词性短语的学习无法完全满足用户的需求。机器翻译系统想要提升关键词的翻译质量就重新训练翻译模型，重新训练不仅需要大批量的包含该关键词的双语数据，还需要消耗大量的时间和人力，其训练速度远远赶不上词语更新的速度，一些专业术语也缺乏相关的语料。这时就需要定义一个满足用户需求的用户词典指导译文的生成，以确保在翻译过程中源语端出现用户词典中的词对时，目标语端输出的译文能够和用户词典中的词对信息完全匹配。

用户词典可以满足不同用户对一些名词性短语、专业名词和命名实体等的高精度需求，例如人名、地名、组织结构名以及不同用户的翻译习惯用词等，如图1中所示。

这种基于用户词典的方法在基于统计的机器翻译系统中得到了广泛的应用，满足了不同用户在特定语境下对某些词或短语的翻译结果的要求。通过加入用户词典技术可以让用户自定义相关的词典库，促使模型在训练和翻译的过程中保留词典中与源语端相对应的目标语，同时不影响句子中其他词的正常翻译，用户可以根据需求随时对词典库进行增删或修改。

对比用户词典技术在统计机器翻译任务中的优势，在基于神经网络的机器翻译模型中，直接引入用户词典并不能得到良好的反响，原因在于神经机器翻译并没有显式的词对齐机制，若想让用户词典中双语词典起到指导作用，只能通过注意力机制来侧面反映平行语料之间的对齐信息，并不能保证很高的精度。

目前能够满足上述要求的基于用户词典的神经机器翻译方法尚未见报道。

发明内容

针对现有技术中在基于神经网络的机器翻译模型中直接引入用户词典并不能得到良好的反响等不足，本发明要解决的问题是提供一种可达到不同用户对翻译译文的高质量要求的基于用户词典的神经机器翻译方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种基于用户词典的神经机器翻译方法，包括以下步骤：