[发明专利]对房产证图像进行结构化信息提取的方法

权利要求书

1.一种对带表格的图像进行结构化信息提取的方法，其特征在于，包括：

提取带表格的图像中的表格区域，对表格区域进行单元格分割；

对单元格进行文本行检测和归类；

对文本行进行单字分割并识别单字内容，拼接得到文本行内容，根据所述文本行内容和所述表格区域的单元格分割结果得到所述带表格的图像中的结构化信息。

2.根据权利要求1所述的方法，其特征在于，所述的提取带表格的图像中的表格区域，包括：

对带表格的图像进行灰度化处理，得到灰度图像，取灰度图像中的所有像素点的灰度值的平均值作为阈值T，将灰度图像中的灰度值大于阈值T的像素值设为1，灰度值小于或者阈值T的像素值设为0，对所述灰度图像进行二值化处理，得到二值化后的图像；

使用开运算分别提取二值化后的图像中的横向表格线和纵向表格线，将横向表格线和纵向表格线叠加得到交叉横纵线条，提取横纵线条的交点，找到包围所有交点的最小轮廓区域，根据其形状和大小判断此最小轮廓区域是否为表格，如果是表格区域，则将该表格区域从带表格的图像上裁剪下来，得到表格区域。

3.根据权利要求2所述的方法，其特征在于，所述的对表格区域进行单元格分割，包括：

将一个表格区域中所有的表格线交点对应的横坐标存储于列表X中，对应的纵坐标存储于列表Y中，取列表X中的每一个横坐标点，对表格区域纵切，得到若干个纵列；再取列表Y中的每一个纵坐标点，对每个纵列进行横切，得到若干个单元格；

将单元格存储为子图，子图以单元格所在行数row和列数col命名，如果单元格的宽度或者高度小于某个阈值，则认为其不是单元格，获得并记录每个单元格图像在带表格的图像中的位置坐标信息，该位置坐标信息包括单元格图像的左上顶点与右下顶点的坐标信息。

4.根据权利要求3所述的方法，其特征在于，所述的对单元格进行文本行检测和归类包括：

根据每个文本行图像的左上顶点与右下顶点在带表格的图像中的位置坐标得到文本行的矩形边界框，其中i为序号，使用Faster-RCNN目标检测方法训练得到检测模型，再利用检测模型对单元格的矩形边界框进行全版面文本行检测，得到单元格中包含的所有文本行；

对检测到的文本行进行单元格归类，如果第i个文本行全部位于第j个单元格内部或者第i个文本行位于第j个单元格内的面积大于第i个文本行面积的一部分，即满足下式：

则将第i个文本行归类于第j个单元格，即textⁱ∈cell^j其中，textⁱ为第i个文本行，cell^j为第j个单元格，TEXT为检测到的文本行集合，CELL为分割得到的单元格集合，λ为比例因子。