[发明专利]基于编码信息的视频感兴趣区域提取方法

摘要

本发明公开了一种基于视觉感知特征和编码信息的视频感兴趣区域提取方法，涉及视频编码领域。本发明包括以下步骤：首先从原始视频流中提取当前编码宏块的亮度信息；然后，利用当前编码宏块的帧间预测模式类型，标识空域视觉特征显著度区域；再以前一帧编码宏块分别在水平和垂直方向上的平均运动矢量为动态双阈值，根据当前编码宏块的水平及垂直方向的运动矢量与动态双阈值的比较结果，标识时域视觉特征显著度区域；最后结合空域和时域视觉特征显著度区域的标识结果，定义视频感兴趣优先级，实现视频感兴趣的自动提取。本发明方法可为基于ROI（Region of Interest,ROI）的视频编码技术提供重要编码依据。

主权项

1.基于编码信息的视频感兴趣区域提取方法，其特征在于包括下述步骤：步骤一：输入YUV格式、GOP（Group of Picture,GOP）结构为IPPP的视频序列，读取编码宏块的亮度分量Y，进行编码参数配置；步骤二：对视频序列的首帧，即I帧进行帧内预测编码；步骤三：对当前p帧进行帧间预测编码，记录当前p帧中的所有编码宏块的帧间预测模式类型，记为Mode_pn；p=1,2,3,…,L-1，代表第p个进行帧间编码的视频帧，L为整个视频序列进行编码的总帧数；n表示在当前编码帧中的第n个编码宏块的序号；步骤四：标识当前p帧的空域视觉特征显著度区域，具体为：若当前编码宏块的帧间预测模式Mode_pn属于亚分割模式集合或者帧内预测模式集合，即Mode_pn∈{8×8,8×4,4×8,4×4}or{Intra16×16,Intra4×4}，则将该宏块标记为S_Yp(x,y,Mode_pn)=1，属于空域视觉特征显著度区域，否则标记S_Yp(x,y,Mode_pn)=0；Y表示编码宏块的亮度分量，(x,y)表示该编码宏块的位置坐标，遍历当前p帧中的所有编码宏块；步骤五：记录第p帧中每一个编码宏块在水平方向上的运动矢量V_xpn和在垂直方向上的运动矢量V_ypn；并计算前一个编码帧中所有编码宏块在水平方向上的平均运动矢量以及垂直方向上的平均运动矢量Num表示一个编码帧中包含的宏块个数，即累加次数；步骤六：标识当前p帧的时域视觉特征显著度区域，具体为：若当前编码宏块的水平方向运动矢量V_xpn大于前一帧编码宏块在水平方向运动矢量平均值或者当前编码宏块的垂直方向运动矢量V_ypn大于前一帧编码宏块在垂直方向运动矢量平均值则该宏块属于时域视觉特征显著度区域，标记T_Yp(x,y,V_xpn,V_ypn)=1，否则标记T_Yp(x,y,V_xpn,V_ypn)=0，遍历当前p帧中的所有编码宏块；步骤七：标记当前p帧的视频感兴趣区域，具体为：遍历当前p帧中的所有编码宏块，根据每个编码宏块的空域特征显著度和时域视觉特征显著度进行标记，具体标记公式如下：ROIYp(x,y)=3,SYp(x,y,Modepn)=1||TYp(x,y,Vxpn,Vypn)=12,SYp(x,y,Modepn)=0||TYp(x,y,Vxpn,Vypn)=11,SYp(x,y,Modepn)=1||TYp(x,y,Vxpn,Vypn)=00,SYp(x,y,Modepn)=0||TYp(x,y,Vxpn,Vypn)=0]]>如果当前编码宏块同时具有空域和时域视觉特征显著度，即S_Yp(x,y,Mode_pn)=1并且T_Yp(x,y,V_xpn,V_ypn)=1，则标记ROI_Yp(x,y)=3；若当前编码宏块仅具有时域视觉特征显著度，不具有空域视觉特征显著度，即T_Yp(x,y,V_xpn,V_ypn)=1并且S_Yp(x,y,Mode_pn)=0，则标记ROI_Yp(x,y)=2；若当前编码宏块不具有时域视觉特征显著度，仅具有空域视觉特征显著度，即S_Yp(x,y,Mode_pn)=1并且T_Yp(x,y,V_xpn,V_ypn)=0，则标记ROI_Yp(x,y)=1；若当前编码宏块既不具有空域视觉特征显著度也不具有时域视觉特征显著度，即S_Yp(x,y,Mode_pn)=0并且T_Yp(x,y,V_xpn,V_ypn)=0，则标记ROI_Yp(x,y)=0；步骤八：输出视频编码码流，具体为：根据标记的ROI_Yp(x,y)感兴趣优先级别高低，对当前p帧中所有宏块的亮度分量Y做如下处理，并输出标记后的视频流，Yp(x,y)=255,ROIYp(x,y)=3150,ROIYp(x,y)=2100,ROIYp(x,y)=10,ROIYp(x,y)=0]]>步骤九：返回步骤三，对下一帧进行处理，直到遍历整个视频序列。