[发明专利]单据拍摄图像识别方法及装置

说明书

本申请实施例提供一种单据拍摄图像识别方法及装置，方法包括：应用预获取的目标单据拍摄图像中的各个文本区域框以及预设的图像坐标系，确定各个所述文本区域框各自对应的顶点坐标；基于各个所述文本区域框各自对应的顶点坐标获取所述目标单据拍摄图像中的单据所在区域的位置信息，并根据该单据区域的位置信息自所述目标单据拍摄图像中提取对应的目标单据图像；根据预定义的版式信息将所述目标单据图像切割为多个子区域，并对各个所述子区域分别进行文字识别。本申请能够有效简化单据拍摄图像识别的过程，并能够提高单据所在区域的位置信息的获取效率及准确性，进而能够有效提高对单据拍摄图像中的单据文字识别的准确性及识别效率。

技术领域

本申请涉及文本识别技术领域，具体涉及单据拍摄图像识别方法及装置。

背景技术

在从使用手机摄像头等移动设备拍摄的图像中识别表格单据等类型的信息时，首先需要将目标单据从图像中提取出来，进而对其进行板式划分，接着再识别、提取目标字段。

传统的计算机视觉算法通过使用边缘轮廓检测算法等方式手动设计特征，在对单据拍摄图像进行单据图像提取时，对于图像扭曲、线条干扰光线强度、角度变化等问题时可靠性较差，对于较复杂场景泛化能力不佳。有一些使用深度学习模型直接检测提取目标单据的新方法，对于同样的单据、表格在不同的场景下往往具有较好的准确、泛化性，但是这类方法高度依赖训练数据样本，对于图像特征与训练集中的单据、表格区域较大的、新的单据及表格等，往往效果不佳，需要收集、准备数据重新调整模型，部署上线的成本较大。

发明内容

针对现有技术中的问题，本申请提供一种单据拍摄图像识别方法及装置，能够有效简化单据拍摄图像识别的过程，并能够提高单据所在区域的位置信息的获取效率及准确性，进而能够有效提高对单据拍摄图像中的单据文字识别的准确性及识别效率。

为解决上述技术问题，本申请提供以下技术方案：

第一方面，本申请提供一种单据拍摄图像识别方法，包括：

应用预获取的目标单据拍摄图像中的各个文本区域框以及预设的图像坐标系，确定各个所述文本区域框各自对应的顶点坐标；

基于各个所述文本区域框各自对应的顶点坐标获取所述目标单据拍摄图像中的单据所在区域的位置信息，并根据该单据区域的位置信息自所述目标单据拍摄图像中提取对应的目标单据图像；

根据预定义的版式信息将所述目标单据图像切割为多个子区域，并对各个所述子区域分别进行文字识别。

进一步地，在所述应用预获取的目标单据拍摄图像中的各个文本区域框以及预设的图像坐标系，确定各个所述文本区域框各自对应的顶点坐标之前，还包括：

接收目标单据拍摄图像；

应用预设的文本区域框检测模型识别得到所述目标单据拍摄图像中的各个文本区域框。

进一步地，所述文本区域框检测模型为应用预设的advanced EAST算法获取的文本检测模型；

所述文本检测模型包括依次连接的输入模块、特征提取模块、特征融合模块和输出模块；

所述输入模块用于输入单据拍摄图像；

所述特征提取模块包括多个卷积层；

所述特征融合模块包括多个特征融合层和一全连接层；

所述输出模块仅包含有一用于输出单据拍摄图像中各个像素的激活分值的激活得分层。

进一步地，所述应用预设的文本区域框检测模型识别得到所述目标单据拍摄图像中的各个文本区域框，包括：

将所述目标单据拍摄图像输入所述文本区域框检测模型，并获取该文本区域框检测模型输出的所述目标单据拍摄图像中的各个所述像素的激活分值；