[发明专利]图像翻译方法、装置及存储介质

权利要求书

1.一种图像翻译方法，其特征在于，包括：

从待翻译图像中裁剪出包含第一语言文字的至少一个局部图像；

将所述至少一个局部图像输入图像翻译模型，从所述图像翻译模型输出与每一个局部图像对应的翻译文本，所述翻译文本中包括与所述第一语言文字具有相同语义的第二语言文字。

2.根据权利要求1所述的图像翻译方法，其特征在于，所述图像翻译模型包括卷积神经子网络和翻译子网络；

将所述至少一个局部图像输入图像翻译模型，从所述图像翻译模型输出与每一个局部图像对应的翻译文本，包括：

基于所述卷积神经子网络提取所述至少一个局部图像的图像特征向量；

对提取到的特征向量进行序列化处理得到序列化图像特征向量；

基于所述翻译子网络对所述序列化图像特征向量进行识别，得到包含所述第二语言文字的翻译文本。

3.根据权利要求1或2所述的图像翻译方法，其特征在于，所述方法还包括：

基于图像翻译样本集预先训练得到所述图像翻译模型；

其中，所述图像翻译样本集包括多对训练样本，所述多对训练样本中的每一对训练样本包括图像样本以及与图像样本对应的文本样本，

所述图像样本中包含第一语言文字，所述文本样本中包含与第一语言文字具有相同语义的第二语言文字。

4.根据权利要求3所述的图像翻译方法，其特征在于，所述方法还包括：

基于双语文本样本集预先训练得到所述图像翻译样本集。

5.根据权利要求4所述的图像翻译方法，其特征在于，所述基于双语文本样本集预先训练得到所述图像翻译样本集，包括：

确定双语文本样本集，所述双语文本样本集包括多对文本训练样本，所述多对文本训练样本中的每一对文本训练样本包括第一语言文本样本，以及与所述第一语言文本样本具有相同语义的第二语言文本样本；

将所述双语文本样本集中的第一语言文本样本转换为包含第一语言文字的图像样本；

将所述图像样本与所述第二语言文本样本关联，得到所述图像翻译样本集。

6.根据权利要求3所述的图像翻译方法，其特征在于，所述基于图像翻译样本集预先训练得到所述图像翻译模型，包括：

通过卷积神经子网络提取所述图像翻译样本集中的多对图像样本的特征向量；

通过翻译子网络对所述特征向量进行预测，得到包含第二语言文字的预测文本；

基于损失函数调整卷积神经子网络和翻译子网络的训练参数，得到满足损失值的图像翻译模型；

其中，所述损失函数依据卷积神经子网络训练参数、翻译子网络训练参数、图像翻译样本集中训练样本数量确定。

7.一种图像翻译装置，其特征在于，包括：

获取单元，被配置为从待翻译图像中裁剪出包含第一语言文字的至少一个局部图像；

处理单元，被配置为将所述至少一个局部图像输入图像翻译模型，从所述图像翻译模型输出与每一个局部图像对应的翻译文本，所述翻译文本中包括与所述第一语言文字具有相同语义的第二语言文字。

8.根据权利要求7所述的图像翻译装置，其特征在于，所述图像翻译模型包括卷积神经子网络和翻译子网络；

所述处理单元采用如下方式将所述至少一个局部图像输入图像翻译模型，从所述图像翻译模型输出与每一个局部图像对应的翻译文本：

基于所述卷积神经子网络提取所述至少一个局部图像的图像特征向量；

对提取到的所述特征向量进行序列化处理，得到序列化图像特征向量；

基于所述翻译子网络对所述序列化图像特征向量进行识别，得到包含所述第二语言文字的翻译文本。