[发明专利]基于深度学习的文档信息抽取方法及装置

权利要求书

1.基于深度学习的文档信息抽取方法，其特征在于：包括如下步骤，S1文本检测，处理器获取共享特征向量X的文字区域特征向量；S2文本识别，处理器获取基于共享特征向量X的文字区域特征向量的注意力图；S3视觉协作机制，处理器根据共享特征向量X的文字区域特征向量获取视觉特征并发送至信息抽取模块；S4语义协作机制，处理器根据基于共享特征向量X的注意力图获取语义特征并发送至信息抽取模块；S5信息抽取，处理器根据视觉特征和语义特征从共享特征向量X中抽取信息。

2.根据权利要求1所述的基于深度学习的文档信息抽取方法，其特征在于：步骤S1具体包括处理器获取原始的文档图片，通过共享主干网络从原始的文档图片的文字区域中提取并获得共享特征向量X，共享主干网络为卷积神经网络，通过第一神经网络从共享特征向量X中获取检测框B、置信度C和掩码M，第一神经网络为由残差神经网络ResNet-50后接特征金字塔网络FPN形成的基于掩码的卷积循环神经网络Mask R-CNN，检测框B为共享特征向量X上的文字区域边框，通过检测框B在共享特征向量X中剪裁并获得共享特征向量X的文字区域特征向量。

3.根据权利要求1所述的基于深度学习的文档信息抽取方法，其特征在于：步骤S2具体包括处理器将共享特征向量X的文字区域特征向量通过第二神经网络编码和第三神经网络解码，从而获得注意力图，第二神经网络为卷积神经网络ResNet-18，第三神经网络为循环神经网络LSTM，注意力图为一维注意力图即识别结果。

4.根据权利要求1所述的基于深度学习的文档信息抽取方法，其特征在于：步骤S3具体包括处理器将共享特征向量X的文字区域特征向量经过区域池化得到第一特征向量F1，然后依次经过卷积层、均值池化和线性变换并得到视觉特征；步骤S4具体包括将注意力图经过一维卷积、最大池化、拼接和线性变换并得到语义特征。

5.基于深度学习的文档信息抽取装置，其特征在于：包括文本检测模块、文本识别模块、视觉协作机制模块、语义协作机制模块和信息抽取模块共五个程序模块，文本检测模块，用于处理器获取共享特征向量X的文字区域特征向量；文本识别模块，用于处理器获取基于共享特征向量X的文字区域特征向量的注意力图；视觉协作机制模块，用于处理器根据共享特征向量X的文字区域特征向量获取视觉特征并发送至信息抽取模块；语义协作机制模块，用于处理器根据基于共享特征向量X的注意力图获取语义特征并发送至信息抽取模块；信息抽取模块，用于处理器根据视觉特征和语义特征从共享特征向量X中抽取信息。

6.根据权利要求5所述的基于深度学习的文档信息抽取装置，其特征在于：文本检测模块，还用于处理器获取原始的文档图片，通过共享主干网络从原始的文档图片的文字区域中提取并获得共享特征向量X，共享主干网络为卷积神经网络，通过第一神经网络从共享特征向量X中获取检测框B、置信度C和掩码M，第一神经网络为由残差神经网络ResNet-50后接特征金字塔网络FPN形成的基于掩码的卷积循环神经网络Mask R-CNN，检测框B为共享特征向量X上的文字区域边框，通过检测框B在共享特征向量X中剪裁并获得共享特征向量X的文字区域特征向量。

7.根据权利要求5所述的基于深度学习的文档信息抽取装置，其特征在于：文本识别模块，还用于处理器将共享特征向量X的文字区域特征向量通过第二神经网络编码和第三神经网络解码，从而获得注意力图，第二神经网络为卷积神经网络ResNet-18，第三神经网络为循环神经网络LSTM，注意力图为一维注意力图即识别结果。

8.根据权利要求5所述的基于深度学习的文档信息抽取装置，其特征在于：视觉协作机制模块，还用于处理器将共享特征向量X的文字区域特征向量经过区域池化得到第一特征向量F1，然后依次经过卷积层、均值池化和线性变换并得到视觉特征；语义协作机制模块，还用于将注意力图经过一维卷积、最大池化、拼接和线性变换并得到语义特征。