[发明专利]一种立体视频码率控制方法

摘要

本发明公开了一种立体视频码率控制方法，首先通过总的目标比特数和初始量化参数，获得对当前立体图像对进行编码的目标比特，然后通过建立左视点图像的编码量化参数值、左右视点图像的编码量化参数差值和对应的左右视点图像的峰值信噪比差值的关系模型，分别获得对当前立体图像对的左视点图像和右视点图像进行编码的目标比特和编码量化参数，最后根据目标比特和编码量化参数，分别对左视点图像和右视点图像进行编码，本发明方法在保证编码的输出码率满足实际带宽的限制的前提下，使得左右通道的质量控制在人眼最小可察觉变化步长阈值范围内。

主权项

1.一种立体视频码率控制方法，其特征在于包括以下步骤：①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的立体视频定义为原始立体视频，在空域上该原始立体视频包括左视点原始视频和右视点原始视频，左视点原始视频主要由若干个帧组的左视点图像组成，右视点原始视频主要由若干个帧组的右视点图像组成，左视点原始视频的帧组和对应的右视点原始视频的帧组构成立体帧组，一个立体帧组由包含左视点图像和右视点图像的若干个立体图像对组成，其中，YUV颜色空间的三个颜色分量中的第1个颜色分量为亮度分量，记为Y，第2个颜色分量为第一色度分量，记为U，第3个颜色分量为第二色度分量，记为V；②根据设定的总的目标比特数和初始量化参数，在编码第i个立体帧组之前(i≥1)，对当前立体帧组的目标比特数和初始量化参数进行预算，将对当前立体帧组的左视点图像进行编码的初始量化参数记为QP_L(i，1)，对当前立体帧组的右视点图像进行编码的初始量化参数记为QP_R(i，1)，对当前立体帧组进行编码的目标比特数记为T_SGOP(i，1)，对于第1个立体帧组(i＝1)，QP_L(1，1)直接采用设定的初始量化参数，QP_R(1，1)＝QP_L(1，1)+1，对于其他的立体帧组(i＞1)，其中，表示第i-1个立体帧组中所有采用P帧编码的立体图像对的左视点图像的平均量化参数，表示第i-1个立体帧组中所有采用P帧编码的立体图像对的右视点图像的平均量化参数，u(i，1)表示编码第i个立体帧组第1个立体图像对时可获取的信道带宽，F_r表示帧率，N_SGOP表示一个立体帧组中立体图像对的数目，B_SGOP表示编码完上一个立体帧组之后缓冲区的大小；③将对当前第i个立体帧组的第2个立体图像对的左视点图像进行编码的量化参数记为QP_L(i，2)，对当前第i个立体帧组的第2个立体图像对的右视点图像进行编码的量化参数记为QP_R(i，2)，将第1个立体图像对的左右视点图像的编码量化参数作为第2个立体图像对的左右视点图像的编码量化参数，即QP_L(i，2)＝QP_L(i，1)，QP_R(i，2)＝QP_R(i，1)；④对当前第i个立体帧组的剩余立体图像对的目标比特数进行预算，确定当前第i个帧组中尚未编码的立体图像对的目标比特数，记从第j个立体图像对开始的所有尚未编码的立体图像对的目标比特数为T_SGOP(i，j)，T_SGOP(i，j)＝T_SGOP(i，j-1)-A_L(i，j-1)-A_R(i，j-1)，其中，2≤j≤N_SGOP，A_L(i，j-1)表示对第i个立体帧组第j-1个立体图像对的左视点图像进行编码产生的实际比特数，A_R(i，j-1)表示对第i个立体帧组第j-1个立体图像对的右视点图像进行编码产生的实际比特数；⑤对当前第i个立体帧组的缓冲区进行更新，记对第i个立体帧组第j个(j≥3)立体图像对进行编码的缓冲器的目标饱和度为TB(i，j)，对于第3个立体图像对(j＝3)，将编码完初始两个立体图像对之后缓冲区的实际饱和度作为缓冲区的目标饱和度，TB(i，3)＝CB(i，3)，对于其他的立体图像对(j＞3)，其中，CB(i，3)表示编码完初始两个立体图像对之后缓冲器的实际饱和度，u(i，j)表示编码第i个立体帧组第j个立体图像对时可获取的信道带宽；⑥根据尚未编码的立体图像对的目标比特数T_SGOP(i，j)和缓冲区的饱和度，获取对第i个立体帧组第j个立体图像对进行编码的目标比特，记为T_LR(i，j)；⑦通过对立体视频掩蔽效应的分析，获得左右视点图像之间的最小可察觉变化步长JND的阈值，以PSNR_L表示左视点图像的峰值信噪比，以PSNR_R表示右视点图像的峰值信噪比，以QP_L表示左视点图像的量化参数，以QP_R表示右视点图像的量化参数，以ΔPSNR_LR表示左右视点图像的质量差值，ΔPSNR_LR＝PSNR_L-PSNR_R，以ΔQP_LR表示左右视点图像的量化参数差值，ΔQP_LR＝QP_R-QP_L，确立左视点图像的编码量化参数值QP_L、左右视点图像的编码量化参数差值ΔQP_LR和对应的左右视点图像的峰值信噪比差值ΔPSNR_LR的关系，即建立立体失真-量化关系模型，用立体D-Q模型来表示，立体D-Q模型表示为ΔPSNR_LR＝β₀+β₁ΔQP_LR+β₂QP_L，并控制ΔPSNR_LR与实际的JND阈值的误差在最小范围之内，其中，β₀、β₁和β₂为立体D-Q模型参数；⑧根据对第i个立体帧组第j个立体图像对进行编码的目标比特T_LR(i，j)，获取在目标比特T_LR(i，j)下对第i个立体帧组第j个立体图像对的左视点图像进行编码的目标比特，记为T_L(i，j)，获取在目标比特T_LR(i，j)下对第i个立体帧组第j个立体图像对的右视点图像进行编码的目标比特，记为T_R(i，j)；⑨根据对第i个立体帧组第j个立体图像对的左视点图像进行编码的目标比特T_L(i，j)，获取对第i个立体帧组第j个立体图像对的左视点图像进行编码的量化参数，记为QP_L(i，j)，QP_L(i，j)＝6log₂(Q_step，L(i，j))+4，其中，Q_step，L(i，j)表示对第i个立体帧组第j个立体图像对的左视点图像进行编码的量化步长，Q_step，L(i，j)通过采用二次码率-量化模型得到，二次码率-量化模型用二次R-Q模型来表示，MAD(i，j)表示第i个立体帧组第j个立体图像对的左视点图像的编码复杂度，MAD(i，j)通过采用编码复杂度预测模型得到，编码复杂度预测模型用MAD预测模型来表示，MAD(i，j)＝c₁×MAD(i，j-1)+c₂，H(i，j)表示第i个立体帧组第j个立体图像对的左视点图像的头信息比特数的预测值，a₁和a₂表示通过拟合得到的二次R-Q模型的参数，c₁和c₂表示通过拟合得到的MAD预测模型的参数；⑩根据对第i个立体帧组第j个立体图像对的右视点图像进行编码的目标比特T_R(i，j)，获取对第i个立体帧组第j个立体图像对的右视点图像进行编码的量化参数，记为QP_R(i，j)，QP_R(i，j)＝QP_L(i，j)+ΔQP_LR(i，j)，其中，ΔQP_LR(i，j)表示第i个立体帧组第j个立体图像对的左右视点图像的量化参数差值，ΔQP_LR(i，j)通过采用立体D-Q模型得到，ΔPSNR_LR(i，j)＝β₀+β₂QP_L(i，j)+β₁ΔQP_LR(i，j)，使得ΔPSNR_LR(i，j)与实际的最小可察觉变化步长JND的阈值的误差在最小范围之内，其中，ΔPSNR_LR(i，j)表示第i个立体帧组第j个立体图像对的左右视点图像的质量差值；根据设定的立体视频编码预测结构，采用QP_L(i，j)对第i个立体帧组第j个立体图像对的原始左视点图像进行编码，得到左视点图像码流；采用QP_R(i，j)对第i个立体帧组第j个立体图像对的原始右视点图像进行编码，得到右视点图像码率；根据已编码的立体图像对的峰值信噪比和量化参数信息，采用线性回归技术对立体D-Q模型的参数β₀、β₁和β₂进行更新，对二次R-Q模型的参数a₁和a₂进行更新，对MAD预测模型的参数c₁和c₂进行更新；对当前立体帧组的下一个立体图像对重复执行步骤②至直至对所有立体帧组的所有立体图像对完成编码。