[发明专利]图像处理方法、装置、电子设备及介质

说明书

本公开提供了一种图像处理方法，包括：获取图像，所述图像包括表格类票据图像；根据所述表格类票据图像，确定所述表格类票据图像中标志性区域的第一位置；根据所述标志性区域的第一位置，确定所述表格类票据图像的待识别区域的位置；根据所述标志性区域的第一位置和所述待识别区域的位置，构建所述表格类票据图像中票据的表格模板；根据所述表格类票据图像中票据的票据类型和所述票据类型的先验知识，对所述表格类票据图像中票据的表格模板进行解析，得到所述待识别区域的文字条目。本公开还提供了一种图像处理装置、电子设备及介质。

技术领域

本公开涉及图像处理的技术领域，尤其涉及一种图像处理方法、装置、电子设备及介质。

背景技术

目前，文字定位是指利用计算机视觉及图像处理技术，判断图像中是否存在文字，以及图像中文字的位置。该技术作为光学识别技术中的关键一环，是决定图像识别性能好坏的重要步骤。文字定位技术在自然场景类、纸质扫描类及通用文本场景已经得到了广泛应用。目前文字定位主要包括以下几种方法：(1)基于图像二值化或边缘特征的传统定位方法，首先使用Canny或其它边缘检测算法检测图像边缘，然后对图像边缘进行连通域分析，根据连通域高度等特征信息进行生长合并，最后得到可能的文字行区域；(2)基于深度神经网络的文字目标定位方法，如CTPN、TextBoxes等：首先使用大量包含字符的图像数据，对深度神经网络进行训练，让网络自动学习图像中的字符特征，然后利用学到的字符特征对文字区域进行外边框回归。

在实现本发明的构思过程中，发明人发现现有技术存在以下问题：(1)表格类票据图像中包含大量的表格线，表格线具有明显的阶跃边缘特性，其边缘梯度的变化剧烈程度远大于文字，而二值化边缘特征依赖于梯度的变化程度，因此会对表格线周围文字的边缘特征提取造成极大的影响，造成文字定位困难；(2)CTPN、TextBoxes等文字目标定位方法，对小目标定位效果较差。由于表格类票据中文字目标尺度较小，边缘特征较弱，在定位文字边框时，边框线经常会有一定的波动，因此，在文字定位时无法很好逼近文字边缘，造成文本区域内仅包含部分文字或者包含噪声，对后续识别造成严重影响。

发明内容

有鉴于此，本公开提供一种图像处理方法、装置、电子设备及介质，进而至少部分地解决了由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的第一个方面提供了一种图像处理方法，包括：获取图像，所述图像包括表格类票据图像；根据所述表格类票据图像，确定所述表格类票据图像中标志性区域的第一位置；根据所述标志性区域的第一位置，确定所述表格类票据图像的待识别区域的位置；根据所述标志性区域的第一位置和所述待识别区域的位置，构建所述表格类票据图像中票据的表格模板；根据所述表格类票据图像中票据的票据类型和所述票据类型的先验知识，对所述表格类票据图像中票据的表格模板进行解析，得到所述待识别区域的文字条目。

根据本公开的实施例，根据所述标志性区域的第一位置和所述待识别区域的位置，构建所述表格类票据图像中票据的表格模板包括：根据所述待识别区域的位置对所述待识别区域进行检测，得到所述待识别区域的表格线；根据所述待识别区域的表格线校正所述标志性区域的第一位置，得到所述标志性区域的第二位置；根据所述标志性区域的第二位置对所述标志性区域进行检测，得到所述标志性区域的表格线；基于所述标志性区域的表格线和所述待识别区域的表格线，生成所述表格类票据图像中票据的表格模板。

根据本公开的实施例，对所述表格类票据图像中票据的表格模板进行解析包括：对所述表格类票据图像中票据的表格模板进行分割，得到多个表格单元；对所述多个表格单元中的文字分别进行投影。

根据本公开的实施例，该方法还包括：对所述表格类票据图像进行预处理，所述预处理包括以下任意一项或多项倾斜校正、透视校正、噪声去除；对预处理后的表格类票据图像中的标志性区域进行标注；利用标注后的表格类票据图像对卷积神经网络进行训练，得到定位网络。