[发明专利]一种融合HEVC压缩域和像素域的镜头边界检测方法

说明书

本发明涉及一种融合HEVC压缩域和像素域的镜头边界检测方法，包括以下步骤：（1）输入视频码流；（2）解析并统计码流；（3）基于CU深度的运动矢量幅值滤波；（4）基于Intra模式和运动矢量的候选突变P帧分级；（5）突变P帧检测；（6）基于直方图的突变I帧检测；（7）基于突变帧的视频分段；（8）渐变候选帧选取；（9）每帧编码比特数平滑滤波；（10）渐变帧检测；（11）渐变帧合并；以突变P帧、突变I帧和渐变帧为镜头边界。本发明充分利用了HEVC编码过程中产生的编码信息并且辅以直方图比较法，能够有效地检测镜头突变和镜头渐变，相比完全像素域的处理方法极大地减少了计算复杂度。

技术领域

本发明涉及数字视频编码领域，具体涉及一种融合HEVC压缩域和像素域的镜头边界检测方法。

背景技术

随着视频信息技术的快速发展，海量视频数据正在呈现井喷式地增长，传统人为分析视频数据的方法已经难以跟上发展的步伐，视频数据的自动挖掘技术的需求不断增大。视频挖掘的最高目标是实现高层语义的挖掘，其第一步就是分割视频的镜头。

镜头间的变化主要分为突变和渐变：突变就是镜头间直接地切换，即上一镜头尾帧和下一镜头首帧直接相连；而渐变是通过人为处理后逐渐变化的帧序列，即两个镜头间存在若干帧的过渡。镜头边界检测就是找出视频中两个连续镜头之间的变换位置，即准确的定位哪一帧发生了突变以及哪一段发生了渐变。

近些年，高清1080P(1920×1080)视频已经普及，超高清4K(3840×2160)视频正逐渐进入我们的生活和工作。为了应对多样化和高清化的视频压缩性能，国际标准化组织ITU-T的视频编码专家组(VCEG)和ISO/IEC的运动图像专家组(MPEG)于2013年共同推出了新一代的高效率视频编码标准(HEVC)，与上一代编码标准H.264相比，HEVC采用了更为先进的编码技术，在相同视频图像质量的条件下可以节约50％左右的视频码流，同时，为了灵活有效地编码视频图像，HEVC采用了新的处理单元划分机制(见G.J.Sullivan,J.R.Ohm,W.J.Han,and T.Wiegand,Overview of the high efficiency video coding(HEVC)standard，即“高效率视频编码标准概述”，IEEE Transactions on Circuits and Systemsfor Video Technology,vol.22,no.12,pp.1649-1668,Dec.2012)，包括编码单元(CU)、预测单元(PU)和变换单元(TU)，这种划分机制有利于编码器根据视频图像内容特点自适应选择最佳的划分方式。在HEVC中，一帧视频图像被划分成多个不同尺寸的正方形CU进行编码，CU深度为0、1、2、3分别表示大小为64×64、32×32、16×16、8×8的CU编码块，且运动活跃性较大的区域CU尺寸相对较小，运动活跃性较小的区域CU尺寸相对较大；每个CU又被进一步划分为一个或多个PU进行预测，PU的预测模式可以为帧内预测模式(Intra模式)或帧间预测模式(Inter模式)，同一个CU下的PU预测模式相同；PU的帧间预测模式包括SKIP、Inter-2N×2N、Inter-N×N、Inter-N×2N、Inter-2N×N、Inter-2N×nU、Inter-2N×nD、Inter-nL×2N和Inter-nR×2N，在这些帧间编码模式下，每个PU利用之前已编码重建的图像进行预测，得到相应的运动矢量，其中运动矢量幅值的单位为四分之一像素位移；PU的SKIP模式不会对残差进行编码，划分方式与2N×2N模式相同；PU的帧内预测模式包括Intra-2N×2N和Intra-N×N，在这些帧内编码模式下，每个PU利用当前图像内已编码重建的像素进行预测。

目前，镜头边界检测的研究成果主要在像素域，少量的成果在H.264压缩域，而在HEVC压缩域的研究还处在起步之中。现有的像素域中检测方法主要包括像素比较法、直方图比较法、边缘比较法等。压缩域中检测方法主要包括基于变换系数的方法、基于DC图的方法和基于运动矢量的方法等。