[发明专利]一种大位移下形变辅助的图像插补方法

权利要求书

1.一种大位移下形变辅助的图像插补方法，其特征在于，包括：

步骤S101：对输入的源图像和目标图像进行关联点标注，从而实现人工控制插补路径；

步骤S102：根据步骤S101中的关联点，对源图像和目标图像分别作形变操作，得到前向和后向形变图像序列；

步骤S103：考虑源相似性和时间相关性，利用一种迭代优化策略，融合步骤S102得到的前向和后向形变图像序列，从而插补得到平滑自然的图像中间过渡帧。

2.根据权利要求1所述的方法，其特征在于：步骤S101：对输入的源图像和目标图像进行关联点标注时，根据源图像与目标图像形状和结构特征，对源图像和目标图像进行人工标记特征关联点，实现用户控制图像插补路径。

3.根据权利要求1所述的方法，其特征在于：步骤S102中：对源图像和目标图像作形变操作，得到前向和后向形变图像序列，包括以下步骤：

(1)对输入源图像和目标图像分别提取前景并进行三角网格化，得到一个前景的三角网格；

(2)利用用户人工标记的关联点作为图柄，基于一种局部控制的近似刚性形变模型LC-ARAP(locally controlled as-rigid-as-possible,LC-ARAP)对所述三角网格进行形变操作，在求解三角网格中单个三角形的最优变换和整体三角网格形变位移中迭代解三角网格的形变结果；

(3)根据三角网格的形变结果，对源图像和目标图像分别插值得到前向和后向形变图像序列。

4.根据权利要求1所述的方法，其特征在于：步骤S03中，融合步骤S102得到的前向和后向形变图像序列，从而得到图像插补结果，具体包括：

(1)根据源相似性和时间相关性要求，即待插补图像与相邻前向、后向形变图像和相邻前帧、后帧插补图像的相似性要求，确定能量函数，将图像插补问题转化为目标能量函数优化问题；

(2)基于图像的拉普拉斯金字塔和高斯金字塔，确定相似性度量，利用“重建-融合”两步迭代算法优化所述目标能量函数，得到满足源相似性和时间相关性的中间过渡帧。

5.根据权利要求3所述的方法，其特征在于：所述步骤(2)中，基于一种局部控制的近似刚性形变模型LC-ARAP具体过程如下：

(21)根据形变的近似刚性、局部控制性、形状感知性和平滑性要求，确定目标能量函数，所述目标能量函数包括近似刚性能量项、稀疏能量项和平滑能量项；

(22)采用两步迭代“局部-全局”算法解出满足所述能量函数的最优形变位移：“局部”阶段，固定位移矩阵D，计算三角网格中每个三角形的最优变换矩阵R_t；“全局”阶段，固定R_t，利用快速交替方向乘子法计算出全局最优位移D，据此对三角网格进行位移得到三角网格的形变结果。

6.根据权利要求4所述的方法，其特征在于：所述步骤(2)具体过程如下：

(31)基于图像的拉普拉斯金字塔和高斯金字塔，确定基于块的双向相似性度量；

(32)利用“重建-融合”两步迭代算法优化前述目标能量函数：“重建”过程，根据当前过渡图像帧不仅与时间相邻过渡图像帧相关而且与其对应的前向、后向形变图像相似的特点，基于块的双向相似性度量方法，采用双向最近邻映射重建出当前过渡图像帧与相邻四幅图像，即前向、后向形变图像，相邻前帧、后帧图像的双向映射高斯金字塔和拉普拉斯金字塔；“融合”过程，融合重建的高斯金字塔和拉普拉斯金字塔，获得更新的当前插补过渡图像帧；

(33)对所有帧实施“重建-融合”过程并迭代多次，得到满足源相似性和时间相关性的中间过渡帧。