[发明专利]一种基于胶囊的神经网络机器翻译系统、信息数据处理终端

权利要求书

1.一种基于胶囊的神经网络机器翻译方法，其特征在于，所述基于胶囊的神经网络机器翻译方法包括：把词映射到高维向量空间得到词向量，得到结合语料中额外信息的词向量，同时结合词的位置信息；接收上下文向量，得到目标语言的词向量，通过词典得到目标语言词汇；

编码器1，用于把词映射得到高维向量空间得到词向量，通过胶囊层得到结合语料中额外信息的词向量，同时结合词的位置信息，作为编码器的输入；

解码器2，用于接收编码器1的上下文向量；

胶囊层具体计算如下：

Embedding_output＝∑_iv_j·Embedding_i+1；

其中b_ij初始化为0；

编码器和解码器均主要由自注意力层组成，具体计算如下：点乘注意力：

多头注意力：

MultiHead(Q，K，V)＝Concat(head1，...，head_n)；

head_i＝Attention(QW_i^Q，KW_i^K，VW_i^V)；

其中，Q，K，V均为词向量，Concat是指把向量拼接起来；

前馈神经网络：

FFN(x)＝max(0，xW₁+b₁)W₂+b₂；

最后通过softmax得到目标语言的词向量，再通过词典得到目标语言词汇，其计算如下：

其中，θ_i为权重参数，k为目标语言词表的大小。

2.一种实现权利要求1所述基于胶囊的神经网络机器翻译方法的信息数据处理终端。

3.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1所述的基于胶囊的神经网络机器翻译方法。