[发明专利]一种解决PDF中复杂流程图的自动识别与解析方法

说明书

本发明公开了一种解决PDF中复杂流程图的自动识别与解析方法，具体按照以下步骤实施：步骤1、对初始文档进行处理；步骤2、基于Faster R‑CNN提取图片中所需框图的坐标；步骤3、根据步骤2获取的坐标与OCR判断实体之间的指向关系；步骤4、基于复杂网络分析库NetworkX构建指向关系的复杂网络。通过对文件的处理(L(x))和图片的处理(H(x))，过滤出纯文本等文档并将流程图页面转化成图片，减轻了Faster R‑CNN的工作时长。通过Faster R‑CNN来提取所需目标框图的坐标，可以同时提取所有类型的目标框图坐标，提升了识别图像中目标坐标的效率。

技术领域

本发明属于图片识别处理技术领域，涉及一种解决PDF中复杂流程图的自动识别与解析方法。

背景技术

图像识别技术是人工智能中的一个重要领域，它是立体视觉、运动分析、数据融合等领域的基础具有重要的应用价值；且当前图像目标识别对车牌、人脸、行人等特征识别已经较为成熟。对文本的研究是人工智能的另一个重要领域，目前对文本的研究是建立在已有的文本上，研究方向主要是对词义转换，词频统计等方面。

但是，目前对于PDF的图像识别、文本解析等方面发展狭隘，研究也只有对PDF的文本关键信息切分、文本段落信息抽取、表格信息处理等纯文字或者高度统一的弱图像分析，对PDF中重要关系图的提取解析少之又少。

另外，目前国内外对PDF的研究是关于PDF格式归档、格式分析、文档视频添加、定位具体位置以及图片合成PDF等方面，没有研究关于PDF中关系图的解析等方面的技术。

发明内容

本发明的目的是提供一种解决PDF中复杂流程图的自动识别与解析方法，解决了现有技术中存在的缺少对PDF文档中流程图进行识别的问题。

本发明一种解决PDF中复杂流程图的自动识别与解析方法，具体按照以下步骤实施：

步骤1、对初始文档进行处理；

步骤2、基于Faster R-CNN提取图片中所需框图的坐标；

步骤3、根据步骤2获取的坐标与OCR判断实体之间的指向关系；

步骤4、基于复杂网络分析库NetworkX构建指向关系的复杂网络。

步骤1具体按照以下步骤实施：

将初始PDF文档记为A，筛选条件函数记为L(x)，初始文档经过筛选条件函数后剩余所需部分记为B，B＝L(A)；接着，图片转换函数为H(x)，将初始文档经过筛选条件函数，再经过图片转换函数后的图片记为C，C＝H(B)。

步骤2具体为：

步骤2.1、利用卷积层提取图片特征；

步骤2.2、利用RPN网络层得到候选矩阵区域；

步骤2.3、在感兴趣区域池化层将不同大小的输入图像尺寸转换为固定长度的输出收集；

步骤2.4、利用步骤2.3中的特征图PFM计算候选区域的类别归属，同时再次根据边框回归获得流程图中的实体类、百分比类、箭头类检测框最终的精确位置。

骤3具体为：

步骤3.1、依据实体类、百分比类预对图片进行覆白预处理；

步骤3.2、对流程指向线段进行细化处理；

步骤3.3、寻找实体之间的指向与被指向关系；

步骤3.4、寻找具有指向关系的对象之间路径上对应的百分比，对路径与其百分比进行绑定。

步骤4具体为：