[发明专利]一种针对非刚性图像序列的帧间插值方法

说明书

本发明公开了一种针对非刚性图像序列的帧间插值方法，所述方法包括：利用鲁棒性局部光流对由运动边缘上的特征点、均匀网格点组成的稀疏特征点进行初始匹配；通过前后一致性检测准则去除误匹配特征点，得到稀疏匹配点，进而获取稀疏矢量场；对稀疏矢量场进行建模插值，获取稠密的运动矢量场；利用样条插值法对各连续帧之间的稠密矢量场进行估计，根据稠密矢量场对浮动图像进行纠正，从而由少数帧插值出较多连续帧。本发明基于少量稀疏的非均匀向量场实现稠密矢量场的建模，不局限于稀疏光流场的不精确性，不仅可以实现较大位移的非刚性图像的全像素配准，也能基于少量非刚性图像插值出多幅连续的图像序列。

技术领域

本发明涉及计算机视觉帧间插值领域，尤其涉及一种针对非刚性图像序列的帧间插值方法，可用于非刚性形变图像的配准，以及基于少量图像获得多幅连续的图像序列。

背景技术

非刚性图像序列的帧间插值在计算机视觉领域是一个具有挑战性的问题。由于非刚性图像序列之间存在着广泛的局部大位移形变和严重的非线性形变，很难准确地获得任意两幅图像间的稠密位移矢量场，获取连续帧的帧间稠密位移矢量场更加困难。序列的帧间插值主要是通过估计帧间的稠密矢量场来实现的，目的是在任意两个连续的原始帧之间生成未知的中间帧，帧间插值可应用于将低帧率视频转换为高帧率视频，基于少量静态图像序列获取动态视频，预测目标物体的运动变化、运动补偿等方面。

目前，常用矢量场插值方法主要有边缘保护插值算法(Edge-PreservingInterpolation of Correspondences，EpicFlow)、鲁棒性插值算法(RobustInterpolation method of Correspondences，RicFlow)、主成分分析插值算法(PrincipalComponent Analysis Interpolation，PCA-Flow)。

现有的插值方法几乎都是针对仅有少量数据缺失的光流场进行插值，对于只有少量稀疏数据的矢量场不适用。并且非刚性图像中普遍存在着较大的局部位移和严重的非线性形变，很难获得准确光流场。

因此，上述方法不可避免地会受到光流场不精确性的限制，插值后难以获得准确的稠密矢量场，导致帧间插值存在较大的误差。

发明内容

本发明提供了一种针对非刚性图像序列的帧间插值方法，本发明基于少量稀疏的非均匀向量场实现稠密矢量场的建模，不局限于稀疏光流场的不精确性，不仅可以实现较大位移的非刚性图像的全像素配准，也能基于少量非刚性图像插值出多幅连续的图像序列，详见下文描述：

一种针对非刚性图像序列的帧间插值方法，所述方法包括：

利用鲁棒性局部光流对由运动边缘上的特征点、均匀网格点组成的稀疏特征点进行初始匹配；

通过前后一致性检测准则去除误匹配特征点，得到稀疏匹配点，进而获取稀疏矢量场；

对稀疏矢量场进行建模插值，获取稠密的运动矢量场；

利用样条插值法对各连续帧之间的稠密矢量场进行估计，根据稠密矢量场对浮动图像进行纠正，从而由少数帧插值出较多连续帧。

其中，所述运动边缘上的特征点具体为：

利用结构化边缘检测算子提取图像边缘，对边缘点降采样作为待匹配特征点。

进一步地，所述对稀疏矢量场进行建模插值，获取稠密的运动矢量场具体为：

计算稀疏匹配点中每两个匹配点之间的径向距离，得到径向距离矩阵A；

根据稀疏位移矢量场构建位移矢量矩阵V；

通过A×C＝V求解出参数矩阵C；

计算待插值区域中任意点到每个稀疏匹配点的径向距离，并建立矩阵B_p；