[发明专利]基于内容特征的图像碎片匹配方法和系统

说明书

技术领域

本公开一般涉及图像处理以及图形学技术领域，且更具体地，涉及一种基于内容特征的图像碎片匹配技术。

背景技术

目前，纸质碎片的计算机自动合成在许多领域都有应用，例如，在公安领域，文件物证是《刑事诉讼法》中规定的具有法律效力的七种证据之一，能够证明案件事实，提供犯罪嫌疑人的语言、指纹、笔迹、文件的成分、污损、伪造等多方面的信息。但是，在各类案件的侦查过程中，经常难以获得完整的文件物证，犯罪嫌疑人为了逃避责任，往往故意撕毁文件、毁灭证据。在侦查办案过程中，一般根据碎片上的手写字迹、图文、线条等内容，及纸张正反面性状和碎片边缘痕迹形态，人工逐块进行拼接。但是由于效率低下，严重影了响侦查破案工作的进行。再如，在文物保护领域，文物勘探的现场存在大量的文物碎片，碎片的合成是一项费时、费力的艰苦工作。还有碎纸机误粉碎了纸质文件，需要碎片还原等众多领域。

长期以来，对碎片的拼接复原通常采用手工方式。人工拼接费时、费力，进展缓慢。这就促使了用计算机自动合成碎片问题的研究。基于边缘轮廓的二维碎片自动拼接研究较多，该问题可以分为两个步骤：局部轮廓匹配和全局恢复重建（简称为全局匹配）。目前国内外的相关研究主要集中在局部轮廓匹配部分，主要考虑局部边界、局部角点的情况来判断是否达到最佳匹配的效果。目前对全局恢复重建方法的研究还比较少。全局恢复重建的方法主要有两种：一种是通过每次在候选匹匹配中选取最佳的一对，对其进行拼合处理，然后重复这个过程，直到实现全局拼接；另一种是对所有匹匹配的全局拼接可能性进行搜索，得到全局的拼接结果。第一种方法可能会抛弃很多正确的匹配，从而降低了拼接的效率。此外，由于其碎片形状的不规则性，会存在大量的不合法匹匹配，因此第二种方法的搜索过程也会大大降低拼接的效率。

但是，以上拼接方式都是基于对碎片的边缘的形状来进行的。由于偶然的原因，许多碎片的边缘的形状都是相似、相近的，甚至是相同的（例如，犯罪嫌疑人将若干张文件同时撕毁的碎片边缘；特别是，目前广为存在的用碎纸机粉碎的碎片边缘等），传统技术无法根据碎片边缘的形状进行准确的自动拟合拼接。

发明内容

为了能有效解决根据碎片边缘痕迹进行拟合中因偶然因素将相似、相近甚至相同碎片边缘假拟合成功的问题，本公开提出一种基于碎片文件内容特征的拟合方法。该技术在碎片边缘拟合的基础上，进一步根据两个碎片边缘的内容特征进行碎片拟合。

根据本公开的一个方面，提供一种基于内容特征的图像碎片匹配方法，包括：提取第一图像碎片的第一边缘，提取第二图像碎片的第二边缘；沿着所述第一边缘和第二边缘提取各自的图像碎片上的内容的特征点；提取第一图像碎片和第二图像碎片上的内容经过特征点的线段或弧线的方向信息作为特征向量；比较所述第一图像碎片和第二图像碎片的内容的特征点和特征向量的匹配度，来确定第一图像碎片与第二图像碎片是否匹配。

根据本公开的一个方面，提供一种基于内容特征的图像碎片匹配系统，包括：边缘提取装置，被配置为提取第一图像碎片的第一边缘，提取第二图像碎片的第二边缘；特征点提取装置，被配置为沿着所述第一边缘和第二边缘提取各自的图像碎片上的内容的特征点；特征向量提取装置，被配置为提取第一图像碎片和第二图像碎片上的内容经过特征点的线段或弧线的方向信息作为特征向量；比较装置，被配置为比较所述第一图像碎片和第二图像碎片的内容的特征点和特征向量的匹配度，来确定第一图像碎片与第二图像碎片是否匹配。

本公开在碎片轮廓边缘拟合的基础上，进一步利用碎片中文字、图、表等内容信息特征进行碎片拼接复原，能有效解决上述问题。具体包括碎片数字化、图像预处理、提取特征点和特征向量、碎片拼接与展示四个步骤。其中，特征点和特征向量提取是关键和创新点。该方法首先将边缘图像矢量化，并提取轮廓拐点的信息。然后，将图像内容（如文字的横、竖、撇、捺和图形的线段等）矢量化，提取与轮廓边缘交叉的内容特征信息。最终，形成碎片的矢量信息（图形化的边缘和内容）。本公开在图像碎片边缘匹配的基础上，进一步考量碎片边缘的内容信息特征，能显著提高碎片的计算机自动匹配的正确性和精度。

附图说明

图1示出了应用本公开的示例硬件环境框图。

图2示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法的示例流程图。

图3A和3B示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法中的输入的图像碎片的示例图。

图4A和4B示出了根据本技术的一个实施例的基于内容特征的图像碎片匹配方法中的提取图像碎片的特征点的示意图。