[发明专利]一种基于景深信息的视频运动放大方法

说明书

本发明提出一种基于景深信息的视频运动放大方法，所述方法利用双目相机等传感器为视频中各物体对应的像素引入一个景深坐标。在综合利用景深坐标等信息确定特定物体边界或局部区域后，对其进行运动放大计算。最后利用景深信息和选择的融合函数对由于放大而导致的边界覆盖问题进行融合。本发明可用于提高视频运动放大的准确性和灵活性，并提升视频运动放大的可视化效果，特别适用于场景中物体的空间关系比较复杂的情况。

技术领域

本发明属于视频信号分析技术领域，特别是涉及一种基于景深信息的视频运动放大方法，具体涉及一种利用双目视觉获得景深信息并用于实现视频中特定区域选择性运动放大的方法。

背景技术

视频运动放大技术是利用计算机视觉的理论和计算方法对视频中物体的运动幅度进行放大的技术，特别是对视频中人眼难以察觉的微小振动进行放大，在建筑结构和机械结构中得到了应用。

传统的视频运动放大技术采用单目相机进行拍摄，无论是高速相机还是普通相机，对场景的描述都是采用二维图像帧的时间序列，缺乏对场景中物体之间的前、后位置的描述，因此存在两个典型的失真现象，即(1)全局放大导致结果极易受到背景噪声的影响，(2)放大后，物体边界存在混叠现象，(3)没办法对局部区域或特定物体进行针对性的运动放大分析。这些后果会严重影响后续定量计算的准确性以及可视化效果。

发明内容

本发明目的是为了解决现有视频运动放大中存在的技术问题，提出了一种基于景深信息的视频运动放大方法。本发明可用于提高视频运动放大的准确性和灵活性，并提升视频运动放大的可视化效果，特别适用于场景中物体的空间关系比较复杂的情况。

本发明是通过以下技术方案实现的，本发明提出一种基于景深信息的视频运动放大方法，具体包括以下步骤：

步骤一、利用双目相机拍摄需要放大的场景，形成场景中运动物体的视频数据；

步骤二、利用计算机视觉算法获取视频序列中各个像素的景深信息，并对视频生成含有景深坐标的四维矩阵M；

步骤三、根据实际需求选择是对视频中的场景进行全局放大还是局部放大，如果是全局放大，则执行步骤四；如果是局部放大，则执行步骤六；

步骤四、对映射到M矩阵中的整体视频场景中的运动进行放大；

步骤五、生成放大后的视频；

步骤六、在场景中选取需要进行运动放大的局部，并根据选定局部的空间构型和纹理信息确定局部的边界从而将选定的局部映射到M矩阵中；

步骤七、对映射到M矩阵中的选定局部场景中的运动进行放大；

步骤八、根据M矩阵中各个像素的景深关系确定各个像素之间的覆盖关系，选择融合函数确定两个具有遮挡关系的物体在同一个位置的像素所占权重，对存在遮挡的物体对应的像素进行融合从而生成当前像素的像素值，并生成放大后的视频。

进一步地，在步骤二中，建立视频中所描述场景的空间坐标系，即通过双目相机和计算机视觉算法为视频信号中每一帧二维图像所描述的场景中的物体对应的像素计算一个景深坐标z，z越大，像素对应的物体部分距离屏幕越远；将视频中每一帧二维图像所描述的场景中的物体在三维空间中进行描述，将视频信号由原来的长x、宽y、时间t构成的三维矩阵变成长x、宽y、景深z、时间t四维矩阵M。

进一步地，步骤四和步骤七中所进行的放大均先采用基于像素灰度幅值的运动放大方法进行预放大，再对预放大结果采用基于相位的运动放大方法进行放大。

进一步地，在步骤八中，对视频中的运动信号进行放大，当景深z1小的像素所对应的物体部分需要覆盖到原始信号中景深z2大的像素所对应的物体部分时，景深z1小的像素所占权重大于景深z2大的像素所占权重；当景深z2小的像素所对应的物体部分需要被原始信号中景深z1大的像素所对应的物体部分覆盖时，景深z2小的像素所占权重小于景深z1大的像素所占权重。