[发明专利]基于残差网络的图像处理方法及装置

说明书

本发明公开了一种基于残差网络的图像处理方法及装置。其中，该方法包括：获取第一文本图像、第二文本图像和目标背景图像，其中，第一文本图像至少包含第一风格的第一文本和第一背景图像，第二文本图像至少包含第二风格的第二文本和第二背景图像，目标背景图像和第二背景图像都属于同一张背景图像；利用训练好的残差网络对第一文本图像和第二文本图像进行风格迁移，得到第三文本图像，其中，第三文本图像至少包含第二风格的第一文本和第一背景图像；利用训练好的残差网络将第二风格的第一文本与目标背景图像进行融合，生成目标文本图像。本发明解决了现有算法无法将新文本渲染到其他位置造成数据集中背景图像块信息缺失的技术问题。

技术领域

本发明涉及计算机视觉及图像生成领域，具体而言，涉及一种基于残差网络的图像处理方法及装置。

背景技术

随着计算机性能的快速提升以及大数据时代的来临，以深度学习作为主要方式的OCR(Optical Character Recognition，光学字符识别)技术已经被广泛应用到卡证分析、交通管理以及票据识别等场景中。作为数据驱动的技术方向，主流的OCR算法模型都需要大量的标注数据作为模型性能提升的保证。但是在实际情况中，符合目标场景的开源数据集较少；此外，人工标注业务数据的方式成本较高。相较于人工标注的方式，利用图像文本生成算法批量生成数据的方式拥有量级可控、成本低廉的优势，已经被业界广泛使用。

为了提升OCR算法的检测和识别性能，图像文本生成技术已经成为训练OCR算法模型必备的前置策略。相关技术中提供了一种基于风格迁移的图像文本生成方式可以将带有目标字体风格的文本渲染到原始文本所在的背景图像中，但是，该算法针对的是固定位置的文本进行替换，导致背景图像块信息的缺失。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于残差网络的图像处理方法及装置，以至少解决现有算法无法将新文本渲染到其他位置造成数据集中背景图像块信息缺失的技术问题。

根据本发明实施例的一个方面，提供了一种基于残差网络的图像处理方法，包括：获取第一文本图像、第二文本图像和目标背景图像，其中，第一文本图像至少包含第一风格的第一文本和第一背景图像，第二文本图像至少包含第二风格的第二文本和第二背景图像，目标背景图像和第二背景图像都属于同一张背景图像；利用训练好的残差网络对第一文本图像和第二文本图像进行风格迁移，得到第三文本图像，其中，第三文本图像至少包含第二风格的第一文本和第一背景图像；利用训练好的残差网络将第二风格的第一文本与目标背景图像进行融合，生成目标文本图像。

可选地，获取第一文本图像包括：从文本集合中随机获取第一文本；基于第一字体文件将第一文本渲染至第一背景图像，生成第一文本图像，其中，第一字体文件为第一风格对应的字体文件。

可选地，获取目标背景图像包括：获取第二文本图像对应的业务数据的标注信息，其中，标注信息用于表征业务数据中包含的文本在业务数据中的位置；基于标注信息从业务数据中随机确定目标背景图像。

可选地，上述方法还包括：构建训练数据集，其中，训练数据集包括：第一训练图像、第二训练图像和第三训练图像，其中，第一训练图像包含第一风格的第一训练文本，第二训练图像包含第二风格的第二训练文本，第三训练图像包含第二风格的第一训练文本，第三训练图像中的背景图像与第二训练图像中的背景图像为同一张背景图像的不同图像块；利用训练数据集对初始残差网络进行训练，得到训练好的残差网络。