[发明专利]基于深度学习和OCR的票据分类及票据字段提取方法

说明书

本发明公开了一种基于深度学习和OCR的票据分类及票据字段提取方法，包括以下步骤：选取多张标准票据图像，截取标准票据图像中的公章图像的外接矩形轮廓，作为深度学习的训练样本，得到深度学习模型；将待识别的票据图像的公章的外接矩形轮廓通过深度学习模型进行分类，若分类成功，则输出待识别的票据图像的票据类型并判定待识别的票据图像为标准票据图像，若分类失败，则判定待识别的票据图像为非标准票据图像；本发明可以实现票据的自动分类以及票据内容的智能提取，为财务人员提供了快速检索以及快速获取票据信息的服务，提升了工作效率。

技术领域

本发明涉及图像处理领域，具体涉及一种基于深度学习和OCR的票据分类及票据字段提取方法。

背景技术

基于OCR的票据信息提取技术是指借助OCR技术，将非结构化的票据影像转换为结构化数据，实现票据信息的提取。目前，对票据OCR的处理大概有以下两类：（1）票据影像的人工录入，这种方式需要员工进行人工操作，耗时费力，人力成本较高，且由于人工录入，不可避免带来一些人为错误；（2）简单版式的票据自动识别，一般仅能够对简单的且格式固定的票据进行识别；

中国专利公开号CN204965587公开了一种金融票据识别分类存放装置，该装置通过内部翻转轮实现了金融票据的正反面图像识别装置，但该装置需要人工进行分类，且只能针对金融银行类票据，适用票据类型不够广泛。

中国专利公开号CN105528604公开了一种基于OCR的票据自动识别与处理系统，该系统包括图像采集模块、快速图像二值化模块、文本块检测与定位模块、单栏文本块的精确定位模块、多栏文本块的精确定位与分割模块、文本识别模块和票据图像检索模块。但该系统不能针对票据中套打、机打字段进行自适应区分，并分别采用不同的方式实现字段定位，导致识别准确率不高。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于深度学习和OCR的票据分类及票据字段提取方法，本基于深度学习和OCR的票据分类及票据字段提取方法可以实现票据的自动分类以及票据内容的智能提取，为财务人员提供了快速检索以及快速获取票据信息的服务，提升了工作效率。

为实现上述技术目的，本发明采取的技术方案为：

一种基于深度学习和OCR的票据分类及票据字段提取方法，包括以下步骤：

步骤1：选取多张标准票据图像，截取标准票据图像中的公章图像的外接矩形轮廓，作为深度学习的训练样本，得到深度学习模型；

步骤2：获取待识别的票据图像，将待识别的票据图像的RGB颜色空间转换到HSV颜色空间，根据HSV颜色空间中的三个颜色分量的值判断选取的每个像素的颜色；

步骤3：根据HSV颜色空间中的三个颜色分量的值，筛选出满足公章颜色范围的像素点，获取像素点的外接矩形轮廓从而获取公章的外接矩形轮廓和公章在待识别的票据图像中的位置；

步骤4：获取待识别的票据图像中最大包围框的轮廓，根据最大包围框的轮廓和公章的位置对待识别的票据图像进行倾斜校正；

步骤5：将待识别的票据图像的公章的外接矩形轮廓通过深度学习模型进行分类，若分类成功，则输出待识别的票据图像的票据类型并判定待识别的票据图像为标准票据图像，执行步骤8,若分类失败，则判定待识别的票据图像为非标准票据图像并执行步骤6；

步骤6：分别获取待识别的票据图像中最大包围框的轮廓的上方图像区域、左方图像区域、右方图像区域和下方图像区域，并分别依次对上方图像区域、左方图像区域、右方图像区域和下方图像区域进行倾斜矫正，将上方图像区域、左方图像区域、右方图像区域和下方图像区域的内容分别与自制表格凭证的票头文字进行匹配从而判断待识别的票据图像是否为自制表格凭证，若匹配成功，则执行步骤7，否则，结束；