[发明专利]一种利用视觉特性的多视点视频编码系统

说明书

技术领域

本发明涉及多视点视频编解码技术领域，尤其涉及一种利用视觉特性的多视点视频编码系统。

背景技术

多视点视频由多个摄像机从不同角度对物体进行拍摄而得，与单视点视频相比，多视点视频的数据量随着视点数目的增加而急剧增加，因此如何对多视点视频进行高效的压缩已成为多视点视频应用的一项关键技术。现有的多视点视频编码仍是以数字信号处理理论和香农信息论为基础的基于预测和变换的混合编码，但是，基于预测和变换的混合编码要进一步提高编码效率，则需要以较大的复杂度为代价，难有大的提升空间。

视频处理多数情况下，人眼是最终的接受体，但是，目前的视频编码方法中存在大量的视觉冗余数据被编码，是一种浪费。最小可察觉失真（Just Noticeable Distortion，JND），也可称为恰可察觉失真，最小可察觉失真是指人类视觉系统（Human Visual System, HVS）存在的各种视觉屏蔽效应，人眼只能察觉到超过某一阈值，该阈值即为最小可察觉失真阈值，它能表征视频图像中的人类视觉冗余。利用最小可察觉失真阈值进行多视点视频编码，能在视频图像主观质量不变情况下降低码率，提高多视点视频编码效率。

目前的JND模型主要是利用人眼的亮度自适应性特性、视觉掩盖效应、对比灵敏度函数（Contrast Sensitivity Function, CSF）以及平滑跟踪眼球移动效应（Smooth Pursuit Eye Movement，SPEM）等视觉特性。例如，文献[1][2]提出了根据背景亮度掩盖效应，纹理掩盖效应和空间对比灵敏度函数建立的离散余弦变换（Discrete Cosine Transform，DCT）域的JND模型，由于该JND模型没有考虑时间特性，因此只适合应用于静态图像。文献[3]是针对文献[1]提出的一种改进的JND模型，该JND模型对文献[1][2]提出的JND模型增加了时间对比灵敏度函数和物体的运动信息，但是，该模型仅仅是把物体运动的幅值考虑到最终的JND阈值中，却没有考虑物体运动的方向，物体运动是个矢量，两个有着相同幅值的矢量，他们的方向却可能是不同的，在二维空间频率上就会导致不同的时间效应，从而会产生不同的JND阈值，因此，JND模型不考虑物体运动的方向是不完整的。文献[4]是针对文献[3]提出的一种改进的JND模型，该JND模型引入物体运动的方向，同时在考虑纹理掩盖效应时采用了块分类的方法，但是，文献[4]只是单纯的给出了JND模型的理论计算方法，并没有将JND模型应用于视频编码和多视点视频编码的实际应用领域。

多视点视频是一种新兴的多媒体技术，但是其庞大的数据量给多视点视频的处理、传输和存储带来很多不便，以至于多视点视频一直无法普及。因此，在保持多视点视频主观质量不变的情况下，降低多视点视频编码码率，提高多视点视频的编码效率是多视点视频编码领域一个急需解决的问题。

本发明专利申请首次提出将JND模型应用到多视点视频编码中的DCT域滤波和率失真优化模块，在保证多视点视频编码系统重建视频图像主观质量不变的情况下，降低多视点视频编码码率，提高多视点视频的编码效率。

            文献[1]:  X. Zhang, W. S. Lin, and P. Xue, Improved estimation for just-notice-able visual distortion, Signal Process., vol. 85, pp. 795-808, 2005。

            文献[2]: Zhenyu Wei and King N.Ngan, Spatial Just Noticeable Distortion Profile for Image in DCT Domain, IEEE Int. Conf., Multimedia and Expo., 2008。

            文献[3]: Y. Jia, W. Lin, and A. A. Kassim, Estimating just-noticeable distortion for video, IEEE Trans. Circuits Syst. Video Technol., vol. 16, no. 7, pp. 820-829, Jul. 2006。