[发明专利]一种基于插值过渡的视频拼接方法及系统

说明书

本发明提出一种基于插值过渡的视频拼接方法及系统，包括：统一视频前后的对象尺寸、查找最佳拼接点的位置、统一视频前后的光照亮度和对象位置，计算插值过渡图像的数量以及生成插值过渡图像序列。本发明提出的技术方案具有视频过渡平滑流畅，以及速度快，实时性强的技术效果。

技术领域

本发明涉及计算机视觉和视频处理技术领域，具体地说，本发明涉及一种利用插值过渡帧拼接视频的方法和系统。

背景技术

视频拼接是视频处理的一项重要内容。在视频通信中，当网络带宽波动时，可变码率的视频通信系统可以通过可伸缩编码的方式(例如调整分辨率，帧率或图像质量)动态调整码率，但对于固定码率的视频通信系统，接收端会出现明显的卡顿现象，具体表现为视频时断时续。对于第一种情况，可以对接收到的图像序列均匀插补来提高视频的帧率和播放的平滑度，对于第二种情况，需要对停顿的图像序列片段进行增补来保持视频的时长和播放的连续性。第一种情况的均匀插补可以看作是第二种情况的特例。

不同于在空间尺度的图像拼接，视频拼接是在时间尺度的处理，通过在相邻视频之间生成插值过渡图像，提高视频播放的流畅度。视频拼接在视频合成和视频编辑中也有广泛应用，比如在手语视频合成中，每个手语词对应一段视频，如果不同手语词对应的视频片段直接相接，相接后的手语视频可能会存在手部移动和角度转移偏差的问题，相邻视频在播放时会产生明显的视觉突兀切换现象，因此需要在相邻视频之间进行插值过渡。

目前对于视频片段的拼接主要有两种方法：传统基于光流的方法和基于深度学习的方法。

在基于光流的方法中，计算图像中每个像素点的光流，光流可以表示空间物体的运动变化信息，通过插值图像光流与相邻图像光流之间的线性关系，可以得到插值图像光流的表达形式从而生成插值过渡图像。

在基于深度学习的方法中，一般采用“训练+预测”的模式，在训练阶段通过已知的连续图像数据得到插值图像的生成模型，在预测阶段将相邻图像输入模型进行计算最终生成具有过渡效果的插值图像。为了达到更为自然流畅的播放效果，可以对拼接后的视频进行再平滑过渡处理。

基于光流的方法中，插值图像的质量对光流的准确度非常敏感，如果某个像素点的光流出错，会显著影响插值图像中正确位置和错误位置之间的所有区域。一方面，受搜索复杂度的影响，光流算法一般只在小范围内检测运动，而非连续的视频片段之间(例如两个不同的手语视频)运动幅度普遍较大，因此相邻图像之间很难准确检测出光流。另一方面，光流算法可以准确跟踪特征明显的像素点(例如角点)，但对于少纹理的目标(例如人手)，比较容易跟丢。

基于深度学习的方法中，普遍需要大量的数据进行模型的训练，获取训练数据是一件费时费力的事情，比如在手语视频合成中，并不存在表达多个手语词的连续视频。此外，深度学习的时间复杂度普遍较高，亦即不适合实时拼接场合。

视频图像可以分为前景和背景，前景由一个或多个目标对象组成，假设用P⁽ⁱ⁾表示第i个目标对象，则包含L个目标对象的图像其中P⁽⁰⁾表示背景。每个目标对象包含若干关键节点，关键节点中部分属于锚节点。其中，关键节点是指相邻图像间可以获取对应关系的节点，锚节点是相邻图像中相对位置不变的节点。锚节点只作平移运动，非锚关键节点的运动由平移和转动两部分组成，在转动时需要相关关键节点作为支点，即非锚关键节点绕相关关键节点转动。

发明内容

针对上述问题，本发明提出一种基于插值过渡的视频拼接方法，其中包括：

步骤1、获取包含首视频和尾视频的待拼接的相邻视频片段，根据该首视频中每个目标对象的锚节点的平均距离值，调整该尾视频中所有图像的目标对象尺寸；