[发明专利]一种数据驱动的物体图像修复系统及方法

权利要求书

1.一种数据驱动的物体图像修复系统，其特征在于：包括依次连接的用户交互模块、物体匹配模块、形状修复模块、纹理修复模块和后处理模块以及独立作为数据准备与预处理的物体图像数据库和数据库标注模块；

所述用户交互模块采用鼠标或数位板作为输入外设，用于在修复图片上标示修复区域和待修复物体的轮廓；

所述物体匹配模块用于将用户标示的待修复物体轮廓在带标注的物体图像数据库中搜索具有最相似轮廓和颜色的物体的匹配图像；

所述形状修复模块利用轮廓匹配模块搜索到的匹配图像，在匹配图像的轮廓上按固定分块大小对纹理和结构信息进行采样组成样本字典，通过求全局最优解的方法在样本字典中寻找最优样本分块通过纹理合成技术合成到待修复物体的轮廓上完成形状修复；所述纹理修复模块用于对形状修复后剩余的物体内部、物体外部待修复区域，采用优先度引导的贪婪修复算法（即每修复一个图像分块时，都全局搜索一个最优的样本分块）进行纹理修复；

所述后处理模块用于对纹理修复后的结果在物体边缘进行修边操作，消除人工修复痕迹；

所述带标注的物体图像数据库为轮廓匹配模块寻找具有与待修复物体相似轮廓图像提供数据集，数据集中包括物体图像和标注对应图像中物体轮廓的掩膜图像；

所述数据库标注模块用于人工对图像数据库中的物体图像进行轮廓标注并生成掩膜图像。

2.根据权利要求1所述的所述用户交互模块，其特征在于：通过采用人工干预的智能前背景分离技术，可对待修复物体轮廓实现半自动化标示，即用户通过拖拽一个矩形选框包围住目标物体就能自动发现物体轮廓并进行标示，降低用户标示待修复物体轮廓工作的复杂性；

3.根据权利要求1所述的物体匹配模块，其特征在于：通过增加对物体纹理的分析，可实现在带标注图像数据库中，通过轮廓匹配、颜色匹配、纹理匹配等技术，搜索轮廓、颜色、纹理与待修复图像最相似的匹配图像；

4.根据权利要求3所述的轮廓匹配，通过采用自包含的、尺度无关的轮廓描述子对每一个轮廓进行描述，并且使用该描述子可以对两个轮廓的相似度进行量化，使得物体匹配模块能够通过该描述子找到与待修复物体轮廓相似度最高的匹配图像；

5.根据权利要求4所述的匹配图像，用于采样组建样本字典作为形状修复模块的输入，由于所述轮廓匹配方法采用的是尺度无关的技术，当匹配图像与待修复物体尺寸不同时，会影响修复效果，此时可以通过对匹配图像进行缩放，寻找最优的缩放尺寸；

6.根据权利要求1所述的形状修复模块，通过在待修复轮廓上构建马尔科夫随机场并定义一个能量方程，约束随机场每一个节点上的图像分块满足分块之间颜色连续、每个节点上的分块与该节点的结构信息一致，将形状修复问题转换成随机场各节点的标号问题（每个标号对应样本字典中的一个样本分块），并求解使得能量方程达到最小的标号方案，再将对应标号的样本分块通过纹理合成技术合成到待修复轮廓上完成形状修复；采用寻找最优分割的方法，在两个相邻分块的重叠部分找到一条颜色差异最小的路径，通过这条路径进行分块分割并融合，消除直接覆盖分块造成的人工修复痕迹；

7.根据权利要求1所述的纹理修复模块，采用的是逐步求局部最优解的贪婪算法，这种方法能很好修复自然纹理，但是对强规则性的纹理，例如斑马条纹，的修复效果比较一般。这里可以采用其他求解全局最优的修复方法，例如基于马尔科夫随机场的修复方法，改善修复效果。

8.根据权利要求1所述的数据库标注模块可以通过基于学习的物体轮廓识别技术，通过输入一类物体的一个手绘轮廓模型，自动在数据库的各张图像中，找到该类物体的轮廓，并自动标注生成轮廓掩膜图像。