[发明专利]在神经机器翻译中使用元信息

说明书

本文提供了用于神经机器翻译的系统和方法。在一个示例中，神经机器翻译系统翻译文本并且包括处理器和存储指令的存储器，当处理器中的至少一个处理器执行指令时，使得系统执行操作，至少包括：获得文本作为神经网络系统的输入；用元信息作为神经网络系统的额外输入来补充输入文本；以及利用元信息进行翻译，将神经网络系统的输出作为输入文本的翻译传递给用户。

要求优先权

本专利申请要求于2016年5月6日提交的名称为“USING META-INFORMATION INNEURAL MACHINE TRANSLATION(在神经机器翻译中使用元信息)”的Matusov等人的序列号为62/332,608的美国临时专利申请的优先权，其通过引用整体并入本文。

技术领域

本公开一般涉及用于在神经机器翻译中使用元信息的方法和系统，并且在一些示例中涉及特定算法。

背景技术

传统的机器翻译在准确或在上下文中翻译文本时并不总是有效的。本公开教导了使用神经机器翻译(NMT)来解决这些技术问题的技术方案。

附图说明

为了更容易地识别对任何特定元件或动作的讨论，附图标记中的最高有效的一个或多个数位指的是首先引入该元件的图号。

图1是示出根据一些示例实施例的联网系统的框图。

图2是示出代表性软件架构的框图，其可以与本文描述的各种硬件架构结合使用。

图3是示出根据一些示例实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文讨论的任何一种或多种方法的机器的组件的框图。

图4示出了根据示例实施例的神经翻译架构，其中输入文本用元信息作为附加输入信号来增强。

图5示出了根据示例实施例的编码器-解码器模型。

图6示出了示例性神经编码器和基于注意力的解码器，示出了根据示例实施例的用于插入主题或类别或其他元信息作为影响机器翻译决策的附加输入的示例架构点。

图7示出了根据示例实施例的解码器的主题感知读出层。

图8在表800中描绘了根据示例实施例的某些翻译任务的语料库统计数据。

图9在表900中描绘了根据示例实施例的用于主题感知神经机器翻译(NMT)的不同方法的评估。

图10在表1000中描绘了根据示例实施例的当主题信息被用作(NMT)系统中的输入时的改进的翻译质量的示例。

图11描绘根据示例实施例的用于主题嵌入的示例余弦距离。

图12示出了根据示例实施例的方法的流程图。

具体实施方式

在此上下文中的“载波信号”指的是能够存储、编码或携带用于由机器执行的指令的任何无形机器可读介质，并且包括数字或模拟通信信号或其他无形介质以便于这种指令的通信。可以使用传输介质经由网络接口设备并使用许多众所周知的传输协议中的任何一个来通过网络发送或接收指令。

在此上下文中的“客户端设备”指的是与通信网络接口以从一个或多个服务器系统或其他客户端设备获得资源的任何机器。客户端设备可以是但不限于移动电话、台式计算机、膝上型电脑、便携式数字助理(PDA)、智能电话、平板电脑、超级书籍、上网本、笔记本电脑、多处理器系统、基于微处理器或可编程的消费电子产品、游戏控制台、机顶盒或用户可用于访问网络的任何其他通信设备。