[发明专利]一种简单快速的视频重定向方法

摘要

一种简单快速的视频重定向方法属于视频处理领域。本发明提供一种基于内容的适用于不同用户终端的视频重定向方法，使固定尺寸的视频能够自适应地显示在不同类型的终端设备上，当视频的长宽比例发生改变时能够尽可能的保持重要对象无拉伸变形，保证视频的观赏质量。算法整体操作简单，且后期的实时处理模块速度较快，可以面向不同目标尺寸实时处理，灵活性好。在流媒体播放领域有非常好的发展和应用前景。本发明将整个处理算法分为了预处理和实时处理两部分，将复杂的重要度计算和分析镜头移动的计算放在了预处理模块中，实时处理模块只需要调用预处理结果。并且利用帧间重要度的叠加的思想保证前后帧内容缩放的一致性，具有一定的应用价值。

主权项

1.一种简单快速的视频重定向方法，其特征在于：该方法具体包括：1)输入一段尺寸为W*H包含N帧的原始视频流，并设定其目标尺寸为W_T*H；2)把原始视频划分为M个等间隔的竖直条带，利用光流法跟踪条带，并计算得到每个条带的累积重要度；3)根据当前帧中每个条带的累积重要度S_over(k,i)以及目标视频尺寸,通过求解最优化问题得到每个条带的目标尺寸；具体包括：原始视频帧中每个条带宽度均为w=W/M，则各条带对应的目标宽度w_i′={w₁′,w₂′…w_N′}^T,i=1,2,…M，该最优化问题中，F(w_i’)为其目标函数，定义了目标条带的形变量，公式(2)为其约束条件：F(wi′)=minΣi=1MSover(k,i)(w-wi′)2---(1)]]>Σi=1Mwi′=WT---(2)]]>(1)式中，用S_over(k,i)表示第k帧标识码为i的条带的累积重要度，w和w_i’分别代表第i个竖直条带的原始宽度和目标宽度；(2)式中W_T为视频的目标宽度，M代表当前帧条带总数量；4)将原始条带的内容均匀缩放到对应的目标尺寸条带中，逐帧的进行处理，进而得到目标尺寸视频；所述步骤2）具体为：①计算每一帧的显著度图；②计算视频的光流场；③分析统计光流场中数量最多的运动矢量作为视频帧的全局运动的矢量，得到的全局运动矢量用表示，其中和分别为x和y方向的单位矢量；④用光流场的每个矢量减去全局运动矢量计算出前景运动矢量场，设光流场中某一像素点的运动矢量为，那么前景运动矢量场的计算如公式（3）所示：F→o-F→=(xo-x)i→+(yo-y)j→---(3)]]>取前景运动矢量的模作为前景运动的能量场，每个像素的前景运动能量e₀的计算如公式（4）所示：eo=|F→o-F→|=(xo-x)2+(yo-y)2---(4)]]>⑤原始视频中所有帧的条带划分宽度均为20-30像素中任意一值，并且在条带跟踪的过程中每个条带的宽度始终保持不变，第K+1帧条带位置通过第K帧中对应的条带位置减去全局运动矢量的水平分量得到；⑥结合原始视频帧的显著度图以及运动能量场去获得每帧图像的重要度图，进而去得到每个条带的重要度，具体包括：在得到显著度图和前景运动能量场之后，需要求显著度图和前景运动能量场在每个条带所覆盖区域的平均值，分别用S(k,i)、S_a(k,i)和S_d(k,i)表示第k帧标识码为i的条带的重要度、平均显著度和平均前景运动能量，则第k帧标识码为i的条带的重要度计算如公式（5）所示：S(k,i)=α·S_a(k,i)+β·S_d(k,i)          （5）其中α=β=1.0；⑦取当前帧的前n帧与后n帧中具有相同标识码的条带的重要度进行了叠加，获得每个条带的累积重要度，以此来减弱了相邻帧具有相同标识码的条带重要度的差异性，使得目标视频前后帧的重定向具有连贯性；用S_over(k,i)表示第k帧标识码为i的条带的叠加重要度，则S_over(k,i) 的计算公式如下所示：Sover(k,i)=S(k-n,i)+...+S(k,i)+...+S(k+n,i),k-n≥0∩k+n≤N(a)S(0,i)+...+S(k,i)+...+S(k+n,i),k-n<0∩k+n≤N(b)S(k-n,i)+...+S(k,i)+...+S(N,i),k-n≥0∩k+n>N(c)S(0,i)+...+S(k,i)+...+S(N,i),k-n<0∩k+n>N(d)---(6)]]>其中N为输入视频的所有帧数，k表示当前帧，n表示需要前后累加的相邻帧的数量；如果当前帧的前面的帧数不够原始设定的需要累加的相邻帧数量，那么前面的相邻帧只累加到第0帧即可；如果当前帧的后面的帧数不够原始设定的需要累加的相邻帧数量，那么只累加到最后一帧即可；公式(6)中，（a）表示如果当前帧有足够的前后相邻帧来进行累加，那么当前帧进行正常的前后相邻帧重要度累加； (b)表示如果当前帧的前面没有足够的相邻帧进行累加，后面有足够的相邻帧进行累加，那么前面的相邻帧累加到第0帧即可，后面的相邻帧正常累加；(c)表示如果当前帧的后面没有足够的相邻帧进行累加，前面有足够的相邻帧进行累加，那么后面的相邻帧累加到最后一帧即可，前面的相邻帧正常累加；(d)表示如果当前帧的前面和后面都没有足够的相邻帧进行重要度累加时，前面的相邻帧累加到第0帧，后面的相邻帧累加到最后一帧即可；⑧在计算完条带的累积重要度S_over(k,i)之后，需要将每帧的条带划分情况和每个条带的累积重要度保存在一个文件中，把它叫做配置文件，后期处理的时候直接将配置文件的参数读入系统中，实时的对每帧图像进行重定向处理。