[发明专利]一种图片信息结构化方法、装置、设备及介质

说明书

本发明涉及人工智能技术领域，提供一种图片信息结构化方法、装置、设备及介质，通过获取待处理图片；采用文本识别网络和文本检测网络对所述待处理图片进行文本检测和识别，以获取检测到的各个文本框的第一最小外接矩形及对应的文字信息；对文本检测网络获取的各所述文本框按照预设顺序进行排序；根据排序结果合并所有文本框的文字信息，以获取所述待处理图片中的文本内容；采用正则规则从所述文本内容中提取目的标签的信息。本发明对比现有技术，在信息提取过程处理速度更快，对服务器系统资源的需求很低，且不需要GPU资源。

技术领域

本发明涉及人工智能技术领域，特别涉及一种图片信息结构化方法、装置、设备及介质。

背景技术

随着Transformer的兴起，基于LayoutLM来处理真实世界中大量的图像理解任务的方案(如文档图像的信息提取、文档版式分类)被广泛应用。但由于Attention操作中的大量矩阵运算和Softmax操作，单任务处理速度比较慢(大约为100ms)，同时需要占用宝贵的GPU资源。

发明内容

本发明的目的在于提供一种图片信息结构化方法、装置、设备及介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

为实现上述目的及其他相关目的，本发明提供一种图片信息结构化方法，包括：

获取待处理图片，所述待处理图片为卡证图片或表格文档图片；

采用文本识别网络和文本检测网络对所述待处理图片进行文本检测和识别，以获取检测到的各个文本框的第一最小外接矩形及对应的文字信息；

选择宽高比大于第一预设值的所有所述文本框的第一最小外接矩形的旋转角度的中位数作为图片旋转角度；

根据所述待处理图片的长、宽及所述文本框的第一最小外接矩形的旋转角度构建图像的仿射变化矩阵；

根据各个所述文本框的第二最小外接矩形，按照预设顺序对所有的所述文本框进行排序；

根据排序结果合并所有文本框的文字信息，以获取所述待处理图片中的文本内容；

采用正则规则从所述文本内容中提取目的标签的信息。

在本发明的一个实施例中，采用文本识别网络和文本检测网络对所述待处理图片进行文本检测和识别，以获取检测到的各个文本框的第一最小外接矩形及对应的文字信息，包括：

将所述待处理图片输入到所述文本检测网络中进行文本检测，以获取检测到的各个所述文本框的第一最小外接矩形；

根据各个所述文本框的第一最小外接矩形，从所述待处理图片中截取各个所述文本框的第一最小外接矩形区域所对应的局部图片；

将各个所述文本框的第一最小外接矩形区域所对应的局部图片输入到所述文字识别网络中进行文字识别，以获取各个所述文本框对应的文字信息。

在本发明的一个实施例中，将所述待处理图片输入到文本检测网络中进行文本检测，以获取检测到的各个所述文本框的第一最小外接矩形，包括：

将所述待处理图片输入到渐进式扩展网络、可微二值化网络或像素聚合网络中进行文本检测，以获取检测到的各个所述文本框的第一最小外接矩形。

在本发明的一个实施例中，将各个所述文本框的第一最小外接矩形区域所对应的局部图片输入到文字识别网络中进行文字识别，以获取各个所述文本框对应的文字信息，包括：

将各个所述文本框的第一最小外接矩形区域所对应的局部图片输入到卷积循环神经网络中进行文字识别，以获取各个所述文本框对应的文字信息。

在本发明的一个实施例中，根据所述待处理图片的长、宽及所述文本框的第一最小外接矩形的旋转角度构建图像的仿射变化矩阵，包括：