[发明专利]图像处理方法和训练方法、以及装置、介质、计算设备

权利要求书

1.一种图像处理方法，包括：

获取第一图像，所述第一图像包括至少一个第一表格；

通过神经网络获取所述第一表格的表格结构，其中，包括：

检测第一表格区域图像中的多个第一点，其中，所述多个第一点包括表格线交点或者表格线上点；

将所述表格线交点和所述表格线上点对应相连接以获得表格线；

以及

输出与所述第一表格具有相同表格结构的可编辑表格文件；

其中，所述将所述表格线交点和所述表格线上点对应相连接以获得表格线包括：

将每个第一点通过分类器进行分类，以获取每个所述第一点的第一延伸方向信息，所述第一延伸方向信息用于表征所述第一点在一个或多个预定方向上是否存在位置相邻的其他第一点；

基于每个第一点的所述第一延伸方向信息，将所述多个第一点分类为表格线交点或者表格线上点；

基于每个所述表格线交点或者每个表格线上点各自的第一延伸方向信息，将所述多个第一点组合以获得所述表格线。

2.根据权利要求1所述的方法，其中，所述神经网络包括第一神经网络和第二神经网络，所述通过神经网络获取所述第一表格的表格结构包括：

利用所述第一神经网络检测所述第一表格，以及从所述第一图像中提取包括所述第一表格的所述第一表格区域图像；

利用所述第二神经网络识别所述第一表格区域图像中的表格线，以及基于所述表格线获得所述第一表格的表格结构。

3.根据权利要求2所述的方法，其中，所述方法还包括训练所述第一神经网络，包括：

获取至少一个第二图像，其中所述第二图像包括第二表格；

获取第二表格包围框的信息，其中所述第二表格包围框的信息包括将所述第二表格包围框映射到所述第二图像时的中心点信息和尺寸信息，其中，当按照所述第二表格包围框的信息将所述第二表格包围框映射到所述第二图像时，所述第二表格包围框与所述第二表格的边框重合；以及

以所述第二图像作为输入、以所述第二表格包围框的信息作为输出标准，训练所述第一神经网络。

4.根据权利要求3所述的方法，其中，所述以所述第二图像作为输入、以所述第二表格包围框的信息作为输出标准，训练所述第一神经网络，包括：

获取所述第一神经网络输出的回归包围框的信息；

基于所述回归包围框的信息与所述第二表格包围框的信息的差异，构建相交损失函数obj_loss+(1-i)*obj_loss，其中：Obj_loss被设置为由所述回归包围框的中心点信息与所述第二表格包围框的中心点信息的差异而确定的回归损失，参数i被设置为所述回归包围框和所述第二表格包围框的相交面积除以所述第二表格包围框的面积而得的比值；以及

基于所述相交损失函数obj_loss+(1-i)*obj_loss，训练所述第一神经网络。

5.根据权利要求3所述的方法，其中，所述方法还包括训练所述第二神经网络，包括：

按照所述第二表格包围框的信息，从所述第二图像中提取第二表格区域图像；

获取对所述第二表格的表格线上的每个点进行标注的第二延伸方向信息，所述第二延伸方向信息包括上、下、左、和右四个延伸方向中的至少一个；以及

以所述第二表格区域图像作为训练输入，以所述第二延伸方向信息为输出标准，训练所述第二神经网络以构建所述分类器。

6.根据权利要求5所述的方法，其中，所述训练所述第二神经网络还包括：

通过特征金字塔网络FPN方法提取所述第二表格区域图像的特征图。