[发明专利]具有隐私保护的表格类信息抽取系统及方法

说明书

一种具有隐私保护的表格类信息抽取系统及方法，包括：位于本地端的节点单元特征收集模块、用户隐私敏感脱敏模块和神经网络采集模块以及位于云服务端的图神经网络模块，节点单元特征收集模块根据用户输入待识别的图片，通过部署在本地端的文字识别模型和文字定位模型识别出节点得到节点的文字段以及坐标特征，用户隐私敏感脱敏模块利用自注意力机制，通过坐标空间转换文字空间转换将每个节点的文字、坐标信息进行变换并得到原语义在不同维度下的向量，神经网络采集模块将待识别图像通过卷积神经网络的卷积操作提取出图像特征，图神经网络模块根据节点连接关系节点特征，使用图卷积神经网络理解学习节点的位置特征以及邻接关系，最终得到节点连接关系，通过节点单元特征收集模块得到的节点文字、坐标信息以及云服务端返回的节点连接关系，提取出整个图片信息并恢复出整个表格。

技术领域

本发明涉及的是一种人工智能应用领域的技术，具体是一种具有隐私保护的表格类信息抽取系统及方法。

背景技术

现有技术对于非结构化的表格文档，自动化的提取精度还需要进一步的提升，通常处理完后还需要人工处理。这往往会成为系统处理速度的瓶颈。随着数据挖掘、机器学习技术的兴起，深度学习在很多方面得到很多利用，同样表格识别领域也有使用现有的神经网络进行表格识别和表格恢复。但现有技术在识别过程中往往会由于传统神经网路技术缺陷导致信息丢失的情况。同时现有的大多数的表格识别不具有隐私保护的能力，对于一般的小公司部署一个本地识别模型具有一定困难，而对于C/S模式的部署，隐私保护在某些场景极为重要，信息安全逐渐重视的今天直接传入一张图片进行识别，对重要数据而言极其敏感。

发明内容

本发明针对现有技术存在的上述不足，提出一种具有隐私保护的表格类信息抽取系统及方法，利用二维文档结构间有一种特殊的空间依赖关系，例如在名片，发票等文档中，姓名后面一般会直接接上实际姓名，日期后面会接上实际日期，这种空间依赖关系在表格类文档中尤其明显。对于需要提取的原图片，通过文字定位、文字识别得到所有节点位置、文字信息，节点指连续的一行文字。通过注意力机制将这二类内容映射到其他维度，在不丢失特征的情况下保证隐私。表格类文档节点间的空间依赖关系分为同行邻接——相邻两个行单元格，同列邻接，同在一个单元组内，下面统一称为relation-r、relation-c、relation-g三类。再结合图神经网络、原始图像信息、节点字段信息进行分类预测出节点的三类关系，从而提取出整个表格的信息。

本发明是通过以下技术方案实现的：

本发明涉及一种具有隐私保护的表格类信息抽取系统，包括：位于本地端的节点单元特征收集模块、用户隐私敏感脱敏模块和神经网络采集模块以及位于云服务端的图神经网络模块，其中：节点单元特征收集模块根据用户输入待识别的图片，通过部署在本地端的文字识别模型和文字定位模型识别出节点得到节点的文字段以及坐标特征，用户隐私敏感脱敏模块利用自注意力机制，通过坐标空间转换文字空间转换将每个节点的文字、坐标信息进行变换并得到原语义在不同维度下的向量，神经网络采集模块将待识别图像通过卷积神经网络的卷积操作提取出图像特征，图神经网络模块根据节点连接关系节点特征，使用图卷积神经网络理解学习节点的位置特征以及邻接关系，最终得到节点连接关系，通过节点单元特征收集模块得到的节点文字、坐标信息以及云服务端返回的节点连接关系，提取出整个图片信息并恢复出整个表格。

所述的节点单元特征收集模块采用本地识别的模式，通过文字定位、文字识别获取一个单元格一行的文字信息和坐标信息，该方式获取的是单行分割的文本信息，每行文本信息即一个节点，当一个单元格内出现跨行文本则为多个节点。

所述的文字定位模型进行文字定位获取一段文字的空间坐标信息；文字识别模型通过文字识别获取单元格的原文信息段。

所述的坐标空间转换是指：X·M＝X′，其中：原坐标X＝[x1，y1，x2，y2，x3，y3， x，y]，(x1，y1)为节点左上角坐标，(x2，y2)为节点右下角坐标，(x3，y3)为节点中心点坐标，x，y为节点框的长宽，M为注意力机制中的参数deg(M)＝1，对于坐标向量则保持其转换后的欧式距离不变。