[发明专利]图像处理方法和训练方法、以及装置、介质、计算设备

说明书

本发明的实施方式提供了一种图像处理方法。该图像处理方法包括获取第一图像，所述第一图像包括至少一个第一表格，通过神经网络获取所述第一表格的表格结构，以及输出与所述第一表格具有相同表格结构的可编辑表格文件。本发明的方法能够快速识别出图像中的表格的表格结构，并获得相应地可编辑表格文件，为图像中的表格识别提供了极大便利。本发明的实施方式提供了一种图像处理装置、介质和计算设备。此外，本发明的实施方式还提供了一种用于图像处理的神经网络的训练方法、装置、介质和计算设备。

技术领域

本发明的实施方式涉及计算机领域，更具体地，本发明的实施方式涉及一种图像处理方法、装置、介质及计算设备，以及一种用于图像处理的神经网络的训练方法、装置、介质及计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

在日常工作生活中，经常会遇到需要从一个图片中提取其中的表格数据的情况。在这种情况下到从图像中自动识别出表格结构以及表格中的数据能够给用户带来极大的便利。现有技术中，从图像中自动识别表格结构的方法主要有两种：一种是是模版匹配方法，另一种是通过hough变换检测直线来确定表格结构。

其中，模版匹配方法需要预先设定模板，基于模板匹配待识别图像中的表格位置和结构。然而，这种方法通用性差，只能识别与模板相匹配的固定格式的表格，并且对表格采集方式要求严格，而且对噪声非常敏感，一部分表格区域匹配失败可能导致整个表格识别失败。

通过hough变换检测直线来确定表格结构的方法，需要通过hough变换检测直线来识别表格结构。但是这种方法中，直线检测容易受到纸张、断点、或阴影等的影响，导致表格的识别率低。

可见，现有技术中从图像中自动识别出表格的表格结构的方法通用性较差，识别成功率较低。

发明内容

因此在现有技术中，如何能够准确且便捷地从各类图像中提取出表格数据，是非常令人烦恼的过程。

在本上下文中，本发明的实施方式期望提供一种图像处理方法，能够从各类电子图像中自动识别出表格结构，以帮助用户快速准确获得图像中的表格数据。

在本发明实施方式的第一方面中，提供了一种图像处理方法。所述图像处理方法，包括获取第一图像，所述第一图像包括第一表格，通过神经网络获取所述第一表格的表格结构，以及输出与所述第一表格具有相同表格结构的可编辑表格文件。

在本发明的一个实施例中，所述神经网络包括第一神经网络和第二神经网络。所述通过神经网络获取所述第一表格的表格结构包括：利用所述第一神经网络检测所述第一表格，以及从所述第一图像中提取包括所述第一表格的第一表格区域图像；以及，利用所述第二神经网络识别所述第一表格区域图像中的表格线，以及基于所述表格线获得所述第一表格的表格结构。

在本发明的一个实施例中，所述利用所述第二神经网络识别所述第一表格区域图像中的表格线，包括检测所述第一表格区域图像中的多个第一点，将每个第一点通过分类器进行分类，以获取每个第一点的第一延伸方向信息，其中，所述第一延伸方向信息用于表征所述第一点在预定方向上是否存在位置相邻的其他第一点，以及基于每个第一点的所述第一延伸方向信息，将所述多个第一点组合以获得所述表格线。

在本发明的一个实施例中，所述方法还包括训练所述第一神经网络，具体包括：获取至少一个第二图像，其中所述第二图像包括第二表格；获取第二表格包围框的信息，其中所述第二表格包围框的信息包括将所述第二表格包围框映射到所述第二图像时的中心点信息和尺寸信息，其中，当按照所述第二表格包围框的信息将所述第二表格包围框映射到所述第二图像时，所述第二表格包围框与所述第二表格的边框重合；以及以所述第二图像作为输入、以所述第二表格包围框的信息作为输出标准，训练所述第一神经网络。