[发明专利]一种基于视觉显著性的视频码率分配方法

说明书

本发明公布了一种基于视觉显著性的视频码率分配方法，建立时域相关性的视觉显著性模型；采用基于显著性的码率分配算法和基于显著性区域质量一致性的窗口权重平滑算法，得到调整后的显著性权重；再根据调整后的显著性权重指导CTU级码率分配算法，由此实现视频码率分配。本发明提供的技术方案充分考虑人眼视觉机制以及显着性区域的质量一致性，能够在视频中检测出人眼关注的区域并且加入了显著性区域的连续性，最终在码率分配上依照显著性权重分配码率使得有效地提升显著性区域质量和提升主观质量。

技术领域

本发明属于图像、视频编码技术领域，涉及视频编码的码率分配技术，尤其涉及一种基于视觉显著性的视频码率分配方法。

背景技术

码率控制是视频编码中的一项关键技术，主要负责工作为在有限的带宽下，尽可能的利用带宽大小去适应压缩视频质量，在传输压缩编码视频的时候，必须要考虑两个问题，视频质量和传输带宽，如果带宽大，需要尽可能传输质量更好的视频；如果带宽低，则需要提高压缩比，减小码流。与此同时，我们希望尽可能的得到高清晰的还原图像，所以在能接受的视频质量范围内对视频尽可能的压缩来提高带宽利用率。码率控制亦可细分为码率分配和码率控制；码率分配采用分层结构的方式依照GOP级、帧级、CTU级分配，其码率控制负责控制已分配完的码率，进行视频压缩，句柄率是否符合带宽的限制。目前主流的码率分配模型中对CTU级码率分配采用平均绝对差(MAD)的方法，是依照对于CTU中的原始像素和预测像素的残差决定MAD的大小，然而这种优化方法可能忽略了人类视觉感知的一些重要特征，比如视频中的背景树木、草地，并不是人眼所关注的内容，但这些背景区域往往会使得码率分配过高，导致人眼感兴趣区域的失真增加和主观质量下降等影响。

文献[1]中记载的方法，藉由视觉显著性算法指导RDO求解帧级的拉格朗日乘子，从而控制帧级的码率分配，并在原有码率分配模型上建立显著性算法指导CTUs级目标码率分配。但是，该方法只考虑了当前帧的码率分配，并未考虑到帧间的相关性，建立在利用复杂度和显著性权重平均的码率分配算法上，并未能完全反映人眼视觉注意特征。

参考文献：

[1]L.Bai,L.Song,R.Xie,J.Xie,and M.Chen,“Saliency based rate controlscheme for high efficiency video coding,”Asia-Pacific Signal and InformationProcessing Association Annual Summit and Conference(APSIPA),Jeju,South Korea,pp.1–6,Dec.2016

[2]D.Sun,S.Roth,and M.Black,“Secrets of optical flow estimation andtheir principles,”IEEE Conference on Computer Vision and Pattern Recognition(CVPR),San Francisco,CA,USA,pp. 2432-2439,Jun.2010.

[3]L.Zhang,L.Zhang,X.Mou,and D.Zhang,“FSIM:a feature similarity indexfor image quality assessment,”IEEE Trans on Image Processing(TIP),vol.20,no.8,pp.2378-2386,Jan.2011.

[4]A.R.Robertson,“The CIE 1976color-difference formulae,”ColorRes.Appl.,vol.2,no.1, pp.7–11,Spring 1977.

[5]B.Li,H.Li,L.Li,and J.Zhang,“Rate control by R-lambda model forHEVC”.Proceedings of the 11th JCTVC Meeting[C].2012.