[发明专利]一种基于胶囊的神经网络机器翻译系统、信息数据处理终端

说明书

本发明属于计算机软件技术领域，公开了一种基于胶囊的神经网络机器翻译系统、信息数据处理终端，所述基于胶囊的神经网络机器翻译方法包括：把词映射得到高维向量空间得到词向量，得到结合语料中额外信息的词向量，同时结合词的位置信息；接收上下文向量，得到到目标语言的词向量，通过词典得到目标语言词汇。本发明通过改变神经网络内部结构，通过胶囊层改进后的词嵌入层可以学习到语料中额外的信息，使得原文和译文中所对应的词更加紧密了。原文和译文中带有类似额外信息的词在词向量空间中的距离更加紧密。

技术领域

本发明属于计算机软件技术领域，尤其涉及一种基于胶囊的神经网络机器翻译系统、信息数据处理终端。

背景技术

目前，业内常用的现有技术是这样的：机器翻译是一种利用机器学习的技术将一种自然语言翻译成另外一种自然语言的过程。作为计算语言学的一个重要分支，它涉及认知科学、语言学等学科，是人工智能的终极目标之一。现有主流的机器翻译模型是使用基于自注意力机制的编码-解码结构，由编码器和解码器组成。二者均以自注意力层为主。翻译流程主要包括：首先把输入的词映射到高维的向量空间得到词向量，再把词向量输入到编码器，通过自注意力机制得到上下文向量，解码器再根据上下文向量和自注意力机制，通过softmax层输出到目标语言的词向量空间。最后通过词典得到目标语言词汇。现有工业界的通用机器翻译系统大多只是使用双语平行语料，并未额外使用语料中的句法和词性等信息。其主要原因在于两点：第一，使用语料中的句法和词性等信息的前提是在于已提取句法和词性等信息，而提取这类信息既耗费时间，也不能保证很高的准确率；第二，现有加入句法和词性等信息的发放中，大多会使得模型更加复杂，训练以及解码的时间成本更高，难以满足用户的需求。而双语平行语料中可提取的信息十分丰富，但并没有得到更好的利用。例如双语平行语料中的词性信息，可让原文和译文中相同词性的词有了更紧密的联系。同样的，这也拉近了原文和译文中主谓宾的距离。有效地利用双语平行语料中额外的信息，可以有效避免一些人名和数字的错翻漏翻等问题。

综上所述，现有技术存在的问题是：现有工业界的通用机器翻译系统大多只是使用双语平行语料，并未额外使用语料中的句法和词性等信息。

解决上述技术问题的难度和意义：使用语料中的句法和词性等信息的前提是在于已提取句法和词性等信息，而提取这类信息既耗费时间，也不能保证很高的准确率；现有加入句法和词性等信息的发放中，大多会使得模型更加复杂，训练以及解码的时间成本更高，难以满足用户的需求。

发明内容

针对现有技术存在的问题，本发明提供了一种基于胶囊的神经网络机器翻译系统、信息数据处理终端。

本发明是这样实现的，一种基于胶囊的神经网络机器翻译方法，所述基于胶囊的神经网络机器翻译方法包括：把词映射得到高维向量空间得到词向量，得到结合语料中额外信息的词向量，同时结合词的位置信息；接收上下文向量，得到到目标语言的词向量，通过词典得到目标语言词汇。

进一步，所述得到高维向量空间得到词向量的方法具体包括：

其中b_ij初始化为0。

所述基于胶囊的神经网络机器翻译方法进一步包括：

点乘注意力：

多头注意力：

MultiHead(Q,K,V)＝Concat(head1，...，head_n)；