[发明专利]一种对视频中的背景画面的扩充方法和设备

权利要求书

1.一种对视频中的背景画面的扩充方法，其特征在于，包括：

将目标视频的每帧视频帧图像按播放顺序排列组成视频图像序列，根据所述视频图像序列确定背景图像序列，以使所述背景图像序列中的背景图像按排列顺序分别与所述目标视频的视频帧图像相对应，其中，所述背景图像序列中的背景图像来自移动设备采集的视频中的视频帧图像；

对于任一视频帧图像，将所述任一视频帧图像作为目标视频帧图像，将所述目标视频帧图像相对应的背景图像作为目标背景图像，根据所述目标视频帧图像中的特征点和所述目标背景图像中的特征点对所述目标视频帧图像和所述目标背景图像进行配准处理，获得目标配准图像，确定所述目标配准图像中所述目标视频帧图像和所述目标背景图像之间的重叠区域；

在所述目标配准图像中将所述目标视频帧图像在所述重叠区域内的图像元素与所述目标背景图像在所述重叠区域内的图像元素进行融合，将融合后的所述目标配准图像作为所述目标视频帧图像对应的背景画面扩充图像；

将每一视频帧图像对应的背景画面扩充图像作为背景画面扩充后的视频的一帧视频帧图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述视频图像序列确定背景图像序列，包括：

根据所述视频图像序列的视频帧图像的排列顺序，基于目标函数最并通过动态规划算法逐一确定所述背景图像序列中的每一背景图像，所述目标函数包括图像内容误差项、运动误差项、外插方向约束项和时间平滑项；

其中，所述背景图像序列中排序号为K的背景图像的确定步骤包括：

基于所述图像内容误差项最小化原则将多幅备选背景图像分别与所述视频图像序列的排序号为K的视频帧图像进行预配准，获得多幅预配准图像；

基于多幅预配准图像，分别获取每一备选背景图像对应的目标函数的值；

将最小的目标函数的值对应的备选背景图像作为所述背景图像序列中排序号为K的背景图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标视频帧图像中的特征点和所述目标背景图像中的特征点对所述目标视频帧图像和所述目标背景图像进行配准处理，包括：

将所述目标视频帧图像和所述目标背景图像分别虚拟网格化；

基于配准效果项和形变约束项最小化原则，调整所述目标视频帧图像中每一虚拟网格的网格顶点和所述背景图像中每一虚拟网格的网格顶点的坐标，以使所述目标视频帧图像与所述目标背景图像配准；

其中，所述配准效果项的表达式为：

上式中，T为目标视频帧图像在视频图像序列中的排序号，N_t为视频图像序列的排序号为t的视频帧图像中与背景图像序列的排序号为t的背景图像中相匹配的特征点对的总数量，为包括特征点Q_t(i)的虚拟网格的网格顶点集合，为V_t(i)的网格顶点坐标相对于Q_t(i)的坐标的权重系数，为包括特征点的虚拟网格的网格顶点集合，为的网格顶点坐标相对于的坐标的权重系数，Q_t(i)为视频图像序列的排序号为t的视频帧图像中第i个特征点，为背景图像序列的排序号为t的背景图像中与Q_t(i)相匹配的特征点；

所述形变约束项的表达式为：

上式中，与分别为排序号为t的视频帧图像或者背景图像的第i虚拟网格中其中一个网格顶点与另外两个相邻网格顶点的连线形成的向量，