[发明专利]一种图片信息结构化方法、装置、设备及介质

权利要求书

1.一种图片信息结构化方法，其特征在于，包括：

获取待处理图片，所述待处理图片为卡证图片或表格文档图片；

采用文本识别网络和文本检测网络对所述待处理图片进行文本检测和识别，以获取检测到的各个文本框的第一最小外接矩形及对应的文字信息；

根据所述待处理图片的长、宽及所述文本框的第一最小外接矩形的旋转角度构建图像的仿射变化矩阵；

根据所述图像的仿射变化矩阵对各所述文本框的第一最小外接矩形进行矫正更新，以获取各所述文本框的第二最小外接矩形；

根据各个所述文本框的第二最小外接矩形，按照预设顺序对所有的所述文本框进行排序；

根据排序结果合并所有文本框的文字信息，以获取所述待处理图片中的文本内容；

采用正则规则从所述文本内容中提取目的标签的信息。

2.根据权利要求1所述的图片信息结构化方法，其特征在于，采用文本识别网络和文本检测网络对所述待处理图片进行文本检测和识别，以获取检测到的各个文本框的第一最小外接矩形及对应的文字信息，包括：

将所述待处理图片输入到所述文本检测网络中进行文本检测，以获取检测到的各个所述文本框的第一最小外接矩形；

根据各个所述文本框的第一最小外接矩形，从所述待处理图片中截取各个所述文本框的第一最小外接矩形区域所对应的局部图片；

将各个所述文本框的第一最小外接矩形区域所对应的局部图片输入到所述文字识别网络中进行文字识别，以获取各个所述文本框对应的文字信息。

3.根据权利要求2所述的图片信息结构化方法，其特征在于，将所述待处理图片输入到所述文本检测网络中进行文本检测，以获取检测到的各个所述文本框的第一最小外接矩形，包括：

将所述待处理图片输入到渐进式扩展网络、可微二值化网络或像素聚合网络中进行文本检测，以获取检测到的各个所述文本框的第一最小外接矩形。

4.根据权利要求2所述的图片信息结构化方法，其特征在于，将各个所述文本框的第一最小外接矩形区域所对应的局部图片输入到所述文字识别网络中进行文字识别，以获取各个所述文本框对应的文字信息，包括：

将各个所述文本框的第一最小外接矩形区域所对应的局部图片输入到卷积循环神经网络中进行文字识别，以获取各个所述文本框对应的文字信息。

5.根据权利要求1所述的图片信息结构化方法，其特征在于，根据所述待处理图片的长、宽及所述文本框的第一最小外接矩形的旋转角度构建图像的仿射变化矩阵，包括：

选择宽高比大于第一预设值的所有所述文本框的第一最小外接矩形的旋转角度的中位数作为图片旋转角度；

以所述待处理图片的长、宽和所述图片旋转角度为参数，构建图像的仿射变化矩阵。

6.根据权利要求1所述的图片信息结构化方法，其特征在于，根据所述图像的仿射变化矩阵对各所述文本框的第一最小外接矩形进行矫正更新，以获取各所述文本框的第二最小外接矩形，包括：

根据所述图像的仿射变化矩阵对各个所述文本框的第一最小外接矩形的每个顶点做线性变换以获取各个所述文本框的第一最小外接矩形的每个顶点的矫正位置，并根据各个所述文本框的第一最小外接矩形的每个顶点的矫正位置来更新各个所述文本框的第一最小外接矩形，将更新后的各个所述文本框的第一最小外接矩形作为各个所述文本框的第二最小外接矩形。