[发明专利]一种文本处理方法、系统和一种用于文本处理的装置

说明书

本发明实施例提供了一种文本处理方法、系统和一种用于文本处理的装置，该方法包括：接收源文本，所述源文本具有多个源词；调用编码器将所述多个源词编码为多个向量；当解码第t个目标词时，根据编码状态、在解码所述第t个目标词时的解码状态、在解码所述第t个目标词之前的中心点中一个或多个信息确定局部注意力窗口的中心点；基于所述局部注意力窗口的中心点确定局部注意力窗口；调用解码器依据位于所述局部注意力窗口中源词，将所述向量解码出所述第t个目标词。通过综合考虑多种信息，提高了注意力的中心定位的准确率，从而提高了诸如翻译等业务处理的质量。

技术领域

本发明涉及语言处理的技术领域，特别是涉及一种文本处理方法、一种文本处理系统和一种用于文本处理的装置。

背景技术

机器翻译又被称为自动翻译技术，通过利用计算机的编程能力，把一种语言自动转化成另一种语言，前者称为源语言，后者称作目标语言。

目前，机器翻译常用局部注意力模型，局部注意力模型是基于注意力模型的改进，在已有的局部注意力机制方法中，在预测每个目标语言的词时，使用了一个前馈神经网络预测一个注意力的中心，在该中心点周围取一个窗口大小的注意力来进行计算目标语言的词。

但是，前馈神经网络利用编码器参考的信息少，注意力的中心定位准确率低，导致翻译的质量差。

发明内容

鉴于上述问题，为了解决上述注意力的中心定位准确率低的问题，本发明实施例提出了一种文本处理方法和相应的一种文本处理系统、一种用于文本处理的装置。

为了解决上述问题，本发明实施例公开了一种文本处理方法，包括：

接收源文本，所述源文本具有多个源词；

调用编码器将所述多个源词编码为多个向量；

当解码第t个目标词时，根据编码状态、在解码所述第t个目标词时的解码状态、在解码所述第t个目标词之前的中心点中一个或多个信息确定局部注意力窗口的中心点；

基于所述局部注意力窗口的中心点确定局部注意力窗口；

调用解码器依据位于所述局部注意力窗口中源词，将所述向量解码出所述第t个目标词。

可选地，所述根据编码状态、在解码所述第t个目标词时的解码状态、在解码所述第t个目标词之前的中心点中一个或多个信息确定局部注意力窗口的中心点的步骤包括：

获取所述编码器的第一隐层状态，在解码所述第t个目标词时、所述解码器的第二隐层状态，在解码所述第t个目标词之前的其他目标词时、权值矩阵的矩阵连接中的一个或多个信息；

结合所述第一隐层状态、所述第二隐层状态和所述矩阵连接确定所述源文本中注意力集中的中心，作为局部注意力窗口的中心点。

可选地，所述获取所述编码器的第一隐层状态，在解码所述第t个目标词时、所述解码器的第二隐层状态，在解码所述第t个目标词之前的其他目标词时、权值矩阵的矩阵连接中的一个或多个信息的步骤包括：

提取在顺序输入所述源文本时记录的第j个源词及位于所述第j个源词之后的源词的第一词信息；

提取在逆序输入所述源文本时记录的第j个源词及位于所述第j个源词之前的源词的第二词信息；

结合所述第一词信息与所述第二词信息，转换为所述编码器的第一隐层状态；

和/或，

提取在解码所述第t个目标词之前的其他目标词时的多个权值矩阵；

将所述多个权值矩阵映射为多个指定格式的权值矩阵；

对所述多个指定格式的权值矩阵进行相加，获得矩阵连接。