[发明专利]一种文本处理方法、系统和一种用于文本处理的装置

说明书

本发明实施例提供了一种文本处理方法、系统和一种用于文本处理的装置，该方法包括：接收源文本，所述源文本具有多个源词；调用编码器将多个源词编码为多个向量；当解码第t个目标词时，根据源文本计算局部注意力窗口的中心偏差值；采用中心偏差值确定局部注意力窗口；调用解码器依据位于局部注意力窗口中源词，将向量解码出所述第t个目标词。自适应源文本的情况，通过数据训练的方式确定局部注意力窗口的中心偏差值，使得可以基于源文本的情况合理地调整局部注意力窗口的大小，源文本与局部注意力窗口相适配，合理地在局部注意力窗口中集中注意力，避免局部注意力窗口中注意力过于集中或过于分散，从而提高了诸如翻译等业务处理的质量。

技术领域

本发明涉及语言处理的技术领域，特别是涉及一种文本处理方法、一种文本处理系统和一种用于文本处理的装置。

背景技术

机器翻译又被称为自动翻译技术，通过利用计算机的编程能力，把一种语言自动转化成另一种语言，前者称为源语言，后者称作目标语言。

目前，机器翻译常用局部注意力模型，局部注意力模型是基于注意力模型的改进，在已有的局部注意力机制方法中，在预测每个目标语言的词时，使用了一个前馈神经网络预测一个注意力的中心，在该中心点周围取一个窗口大小的注意力来进行计算目标语言的词。

但是，窗口通常是人工指定大小的，即大小固定，但是，每个需要翻译的句子有所不同，固定大小的窗口适应性差，若翻译的句子过长，窗口中的注意力过于集中，若翻译的句子过短，窗口中的注意力过于分散，导致翻译的质量差。

发明内容

鉴于上述问题，为了解决上述固定大小的窗口适应性差，注意力或过于集中或过于分散的问题，本发明实施例提出了一种文本处理方法和相应的一种文本处理系统、一种用于文本处理的装置。

为了解决上述问题，本发明实施例公开了一种文本处理方法，包括：

接收源文本，所述源文本具有多个源词；

调用编码器将所述多个源词编码为多个向量；

当解码第t个目标词时，根据所述源文本计算局部注意力窗口的中心偏差值；

采用所述中心偏差值确定局部注意力窗口；

调用解码器依据位于所述局部注意力窗口中源词，将所述向量解码出所述第t个目标词。

本发明实施例还公开了一种文本处理方法，包括：

接收源文本，所述源文本具有多个源词；

调用编码器将所述多个源词编码为多个向量；

当解码第t个目标词时，根据所述源文本计算局部注意力窗口的起始点和窗口长度；

采用所述起始点和所述窗口长度确定局部注意力窗口；

调用解码器依据位于所述局部注意力窗口中源词，将所述向量解码出所述第t个目标词。

本发明实施例还公开了一种文本处理系统，包括：

源文本接收模块，用于接收源文本，所述源文本具有多个源词；

向量编码模块，用于调用编码器将所述多个源词编码为多个向量；

中心偏差值确定模块，用于当解码第t个目标词时，根据所述源文本计算局部注意力窗口的中心偏差值；

局部注意力窗口确定模块，用于采用所述中心偏差值确定局部注意力窗口；

向量解码模块，用于调用解码器依据位于所述局部注意力窗口中源词，将所述向量解码出所述第t个目标词。

本发明实施例还公开了一种文本处理系统，包括：