[发明专利]基于深度学习OCR与版面结构的证件识别方法

说明书

本发明公开了基于深度学习OCR与版面结构的证件识别方法，属于图像识别技术领域，要解决的技术问题为如何提供一种成本低廉、鲁棒性高、识别结果有保障的身份证识别方法。包括如下步骤：对证件图像进行旋转操作，旋转后证件图像符合人视角；通过训练后证件检测模型对上述旋转后证件图像进行证件识别，去除背景图像；通过OCR文本检测方法进行文本检测，得到多个初始文本框；去除内容要素之外的杂框，对去除杂框后的初始文本框进行合并，并对多个合并后文本框进行比例拉伸；计算每个内容要素对应文本框的坐标信息；将上述每个内容要素对应文本框剪裁得到文本框图像，通过OCR文本检测方法进行文本检测，得到内容要素对应的文本信息。

技术领域

本发明涉及图像识别技术领域，具体地说是基于深度学习OCR与版面结构的证件识别方法。

背景技术

身份证作为持有人身份证明的证件，在人们的日常生活和工作中有着非常重要的作用。在登记注册、出入手续、证照办理、入学就业、金融信贷等过程中，身份证作为一种身份唯一性证明材料都需要提交审核。

当前，身份证识别技术主要采用以下三种方法完成：一是采用硬件设备读卡器，通过读取二代身份证内部的磁条完成识别，但是往往读卡器设备价格昂贵，成本较高；二是采用传统的图像处理技术对身份证信息进行识别，已知该方法在光照不均、背景干扰、遮挡等方面鲁棒性较差，识别率、准确率等得不到保障；三是固定拍摄区域的身份证识别，此拍摄过程要求高，必须光线充足，身份证的边缘必须紧靠给定的框边缘，从而对拍摄者本身提出了更高的技术要求。

基于上述，如何提供一种成本低廉、鲁棒性高、识别结果有保障的身份证识别方法，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供基于深度学习OCR与版面结构的证件识别方法，来解决如何提供一种成本低廉、鲁棒性高、识别结果有保障的身份证识别方法的技术问题。

第一方面，本发明提供一种基于深度学习OCR与版面结构的证件识别方法，包括如下步骤：

对于输入的证件图像，基于文字方向进行四个方向的角度检测，并对证件图像进行旋转操作，旋转后证件图像符合人视角；

基于迁移学习训练证件检测模型，通过训练后证件检测模型对上述旋转后证件图像进行证件识别，去除背景图像，得到目标证件图像；

对于目标证件图像，通过OCR文本检测方法进行文本检测，得到多个初始文本框；

对于上述初始文本框，去除内容要素之外的杂框，并基于文本框的中心点坐标以及长宽角度，对上述去除杂框后的初始文本框进行合并，得到多个合并后文本框，并对上述多个合并后文本框进行比例拉伸以避免内容要素遗漏；

基于证件包围框的坐标信息以及证件号码长度信息，计算证件号码对应文本框的坐标信息，以证件号码对应文本框的坐标信息为基准，计算每个内容要素对应文本框的坐标信息；

将上述每个内容要素对应文本框剪裁得到文本框图像，对于每个文本框图像，通过OCR文本检测方法进行文本检测，得到内容要素对应的文本信息。

作为优选，得到内容要素对应的文本信息后，通过正则表达式对文本信息进行规范化输出。

作为优选，基于文字方向进行0度、90度、180度以及270度四个方向的角度检测。

作为优选，所述证件检测模型为SSD-MobileNet V1模型。

作为优选，对于上述初始文本框，去除内容要素之外的杂框，包括如下步骤：

去除低置信度的文本框；

去除证件检测出的包围框之外以及与包围框相交的所有框；

去除反光导致的出现在人像下面的重影文本框；