[发明专利]基于编码信息的视频感兴趣区域提取方法

说明书

技术领域

本发明属视频信息处理领域。利用视频编码技术和人眼视觉感知原理实现一种视频感兴趣区域快速提取方法。该方法能够对输入的视频流进行自动分析，利用编码信息标注并输出视频感兴趣区域。

背景技术

最新的视频编码标准H.264/AVC采用了多种先进的编码技术，在提高编码性能的同时，其编码复杂度也急剧增加，限制了其在多媒体信息处理与实时通信业务中的广泛应用。人们对如何提高H.264/AVC编码速度进行了深入研究，并提出了大量快速编码优化算法，但多数算法并不区分视频图像中各个区域在视觉意义上的重要程度，对所有编码内容采用相同的编码方案，忽略了人类视觉系统HVS（Human Visual System,HVS）对视频场景感知的差异性。

视觉神经科学研究已证明，HVS对视频场景的感知具有选择性，对不同区域具有不同的视觉重要性。因此，利用已有编码信息进行视觉感知特征分析，再依据视觉感知特征将计算资源优先分配给感兴趣区域，对提高视频编码算法实时性、降低计算复杂度，具有重要的理论意义和应用价值。而快速、有效的视觉特征分析，特别是视觉感兴趣区域的有效检测是优化编码资源、编写高效视频编码方案的重要基础。

发明内容

本发明不同于现有的光流法、帧差法、运动能量检测法、背景差法等视频运动对象提取方法，是以视频码流中的预测模式、运动矢量等编码信息为基础，根据编码信息与视觉感兴趣区域的关联性，识别视频编码内容中的空域视觉特征显著度区域和时域特征视觉显著度区域，从而实现视频感兴趣区域的自动标识和获取。

根据HVS特征，人眼对亮度信息较之色度信息更加敏感，本发明方法针对视频序列中的亮度分量的编码信息，进行视频感兴趣区域的自动标识和获取。

本发明方法具体包括下述步骤：

步骤一：输入YUV格式、GOP（Group of Picture,GOP）结构为IPPP的视频序列，读取编码宏块的亮度分量Y，进行编码参数配置和初始化参数；

步骤二：对视频序列的首帧，即I帧进行帧内预测编码；

在视频编码标准中，I帧做为随机访问的参考点，含有大量信息，由于其不能利用相邻帧之间的时间相关性进行编码，因而采用帧内预测编码方法，利用当前帧中己编码重建宏块的编码信息对当前宏块进行预测，以消除空间冗余。对视频序列首帧，即I帧进行帧内预测编码是视频编码中惯用的一种常规编码方式。

步骤三：对当前p帧进行帧间预测编码，利用相邻帧视频内容的相关性消除时间冗余。记录当前帧内所有编码宏块的帧间预测模式类型，记为Mode_pn；

其中，p=1,2,3,…,L-1，代表第p个进行帧间编码的视频帧，L为整个视频序列进行编码的总帧数；n表示在当前编码帧中的第n个编码宏块的序号。

步骤四：标识当前p帧的空域视觉特征显著度区域，具体为：若当前编码宏块的帧间预测模式Mode_pn属于亚分割模式集合或者帧内预测模式集合，即Mode_pn∈{8×8,8×4,4×8,4×4}or{Intra16×16,Intra4×4}，则将该宏块标记为S_Yp(x,y,Mode_pn)=1，属于空域视觉特征显著度区域，否则标记S_Yp(x,y,Mode_pn)=0；其中，Y表示编码宏块的亮度分量，(x,y)表示该编码宏块的位置坐标，p和Mode_pn的定义同上，遍历当前p帧中的所有编码宏块；

图1给出了H.264标准帧间预测模式选择流程示意图。

经过实验，发现在H.264/AVC标准编码中，预测编码结果与人眼感兴趣区域之间具有较强相关性：对于人眼关注度较高的运动区域或者纹理丰富区域，Mode_pn大多选择亚分割模式集合{8×8,8×4,4×8,4×4}；在镜头切换，视频内容发生突变，或者出现运动幅度较大的运动对象时，人眼关注度最高，此时Mode_pn才会选择帧内预测模式集合{Intra16×16,Intra4×4}；对于人眼关注度较低的背景平滑区域，Mode_pn大多选择宏块分割模式集合{Skip,16×16,16×8,8×16}。图2以Claire序列为例，给出了Claire序列第50帧帧间预测模式分布图，从图中可以发现在人眼关注度较高的区域中，编码宏块大都选择了帧间亚分割预测模式集合。