[发明专利]翻译方法、装置、设备及存储介质

权利要求书

1.一种翻译方法，其特征在于，包括：

获取源语言文本、源语言文本的语音信息及源语言文本中每一文本子单元的结构信息；

获取所述源语言文本对应的文本特征、所述语音信息对应的语音特征，以及所述源语言文本对应的结构特征，所述结构特征基于所述源语言文本中各文本子单元的结构信息确定；

基于所述文本特征、所述语音特征及所述结构特征，对所述源语言文本进行翻译，得到翻译后的目标语言文本。

2.根据权利要求1所述的方法，其特征在于，所述获取源语言文本中每一文本子单元的结构信息，包括：

获取源语言文本中每一文本子单元的图像，所述图像包含文本子单元的结构信息。

3.根据权利要求1所述的方法，其特征在于，所述获取所述源语言文本对应的文本特征、所述语音信息对应的语音特征，以及所述源语言文本对应的结构特征，包括：

分别对所述源语言文本、所述语音信息及所述源语言文本中各文本子单元的结构信息进行编码，得到源语言文本对应的文本特征、语音信息对应的语音特征以及源语言文本对应的结构特征。

4.根据权利要求3所述的方法，其特征在于，对所述源语言文本、所述语音信息及所述源语言文本中各文本子单元的结构信息进行编码的过程，包括：

按照自所述语音信息、所述结构信息至所述源语言文本的先后顺序依次进行编码，其中：

对所述语音信息进行编码，得到语音特征；

对所述结构信息进行编码时，融合所述语音信息的编码结果，得到融合语音信息的结构特征；

对所述源语言文本进行编码时，融合所述语音信息的编码结果以及所述结构信息的编码结果，得到融合语音信息及结构信息的文本特征。

5.根据权利要求4所述的方法，其特征在于，所述对所述结构信息进行编码时，融合所述语音信息的编码结果，包括：

通过第一融合方式，将所述语音信息的编码结果，与所述结构信息的编码结果进行融合。

6.根据权利要求4所述的方法，其特征在于，所述对所述源语言文本进行编码时，融合所述语音信息的编码结果以及所述结构信息的编码结果，包括：

通过第二融合方式，将所述语音信息的编码结果以及所述结构信息的编码结果，与所述源语言文本的编码结果进行融合。

7.根据权利要求1所述的方法，其特征在于，所述基于所述文本特征、所述语音特征及所述结构特征，对所述源语言文本进行翻译，得到翻译后的目标语言文本，包括：

基于所述语音特征、所述结构特征和所述文本特征，确定拼接特征；

基于所述拼接特征，确定所述源语言文本对应的翻译后的目标语言文本。

8.根据权利要求7所述的方法，其特征在于，所述基于所述语音特征、所述结构特征和所述文本特征，确定拼接特征，包括：

将所述语音特征、所述结构特征和所述文本特征进行拼接，得到第一拼接特征；

或，

将所述语音特征、所述结构特征和所述文本特征融合，得到源语言的融合特征；

将所述源语言的融合特征、所述语音特征、所述结构特征和所述文本特征进行拼接，得到第二拼接特征。

9.根据权利要求7所述的方法，其特征在于，所述基于所述拼接特征，确定所述源语言文本对应的翻译后的目标语言文本，包括：

基于所述拼接特征进行源语言和目标语言间信息转换，得到目标语言的融合特征、文本特征、结构特征及语音特征；

结合所述目标语言的融合特征和文本特征进行文本解码，得到目标语言的目标语言文本。

10.根据权利要求9所述的方法，其特征在于，所述基于所述拼接特征进行源语言和目标语言间信息转换，得到目标语言的融合特征、文本特征、结构特征及语音特征，包括：

由翻译编码器对所述拼接特征进行编码，得到编码结果；

由翻译解码器对所述编码结果进行解码，以得到解码后目标语言的融合特征、文本特征、结构特征及语音特征。