[发明专利]一种H.264/AVC立体视频中图像帧重要性的评价方法

摘要

本发明公开了一种H.264/AVC立体视频中图像帧重要性的评价方法，其对于右视点编码帧，先计算其错误隐藏失真，然后根据错误隐藏失真计算错误扩散失真，最后将两种失真相加得到除最后一帧右视点编码帧外的右视点编码帧的帧重要性，最后一帧右视点编码帧的帧重要性仅由错误隐藏失真确定；对于左视点编码帧，排除第1帧左视点编码帧，先计算左视点编码帧的错误隐藏失真，然后根据错误隐藏失真计算视点内错误扩散失真和视点间错误扩散失真，两者之和作为总错误扩散失真，最后将错误隐藏失真和错误扩散失真相加作为左视点编码帧的重要性，该方法在编码端就能准确地估计出各编码帧的帧重要性，且估计精度高。

主权项

一种H.264/AVC立体视频中图像帧重要性的评价方法，其特征在于包括以下步骤：①在编码端，假设编码后的H.264/AVC立体视频包括N帧左视点编码帧和N帧右视点编码帧，其中，N≥1；②计算编码后的H.264/AVC立体视频中的每帧右视点编码帧的错误隐藏失真，将第t帧右视点编码帧的错误隐藏失真记为其中，1≤t≤N，t的初始值为1，$D^{\mathrm{right}}=\left(t\right)\left\{\begin{array}{cc}\mathrm{MSE}(l_1,r_1)& t=1\\ \mathrm{MSE}(r_{t-1},r_t)& 2\≤t\≤N\end{array}\right.,$MSE(l₁,r₁)表示第1帧左视点编码帧与第1帧右视点编码帧之间的均方差，MSE(r_t‑1,r_t)表示第(t‑1)帧右视点编码帧与第t帧右视点编码帧之间的均方差，l₁表示第1帧左视点编码帧，r₁、r_t‑1和r_t对应表示第1帧右视点编码帧、第(t‑1)帧右视点编码帧和第t帧右视点编码帧；③计算编码后的H.264/AVC立体视频中除最后一帧右视点编码帧外的每帧右视点编码帧的错误扩散失真，将除最后一帧右视点编码帧外的第t帧右视点编码帧的错误扩散失真记为$I_p^{\mathrm{right}}\left(t\right)=\frac{(1-(1-{\mathrm{\β}}_t^{\mathrm{right}})\×{\mathrm{\α}}_t^{\mathrm{right}})-{(1-{\mathrm{\β}}_t^{\mathrm{right}})}^{{\mathrm{\λ}}_t^{\mathrm{right}}+1}\×{\left({\mathrm{\α}}_t^{\mathrm{right}}\right)}^{{\mathrm{\λ}}_t^{\mathrm{right}}+1}}{1-(1-{\mathrm{\β}}_t^{\mathrm{right}})\×{\mathrm{\α}}_t^{\mathrm{right}}}\×D^{\mathrm{right}}\left(t\right),$其中，此处1≤t≤N‑1，表示以第t帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的帧内预测比例，表示第t帧右视点编码帧的错误扩散因子，的值等于第t帧右视点编码帧中参与预测下一帧右视点编码帧的所有宏块的总失真与第t帧右视点编码帧的失真的比值，表示以第t帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的总帧数；④计算编码后的H.264/AVC立体视频中的每帧右视点编码帧的帧重要性，将第t帧右视点编码帧的帧重要性记为I^right(t)，$I^{\mathrm{right}}=\left(t\right)=\left\{\begin{array}{cc}{i}_c^{\mathrm{right}}\left(t\right)+I_p^{\mathrm{right}}\left(t\right)& 1\≤t\≤N-1\\ I_c^{\mathrm{right}}\left(t\right)& t=N\end{array}\right.;$⑤假设编码后的H.264/AVC立体视频中的第1帧左视点编码帧不丢失，则计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的错误隐藏失真，将除第1帧左视点编码帧外的第t'帧左视点编码帧的错误隐藏失真记为其中，2≤t'≤N，t'的初始值为2，D^left(t')＝MSE(l_t'‑1,l_t')，MSE(l_t'‑1,l_t')表示第(t'‑1)帧左视点编码帧与第t'帧左视点编码帧之间的均方差，l_t'‑1和l_t'对应表示第(t'‑1)帧左视点编码帧和第t'帧左视点编码帧；⑥计算编码后的H.264/AVC立体视频中除第1帧和最后一帧左视点编码帧外的每帧左视点编码帧的视点内错误扩散失真，将除第1帧和最后一帧左视点编码帧外的第t'帧左视点编码帧的视点内错误扩散失真记为$I_{\mathrm{pl}}^{\mathrm{left}}\left(t^{\′}\right)=\frac{(1-(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{left}})\×{\mathrm{\α}}_{t^{\′}}^{\mathrm{left}})-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{left}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{left}}+1}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{left}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{left}}+1}}{1-(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{left}})\×{\mathrm{\α}}_{t^{\′}}^{\mathrm{left}}}\×D^{\mathrm{left}}\left(t^{\′}\right),$其中，此处2≤t'≤N‑1，表示以第t'帧左视点编码帧的下一帧左视点编码帧开始的所有后续左视点编码帧的帧内预测比例，表示第t'帧左视点编码帧的错误扩散因子，的值等于第t'帧左视点编码帧中参与预测下一帧左视点编码帧的所有宏块的总失真与第t'帧左视点编码帧的失真的比值，表示以第t'帧左视点编码帧的下一帧左视点编码帧开始的所有后续左视点编码帧的总帧数；⑦计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的视点间错误扩散失真，将除第1帧左视点编码帧外的第t'帧左视点编码帧的视点间错误扩散失真记为$I_{\mathrm{pr}}^{\mathrm{left}}\left(t^{\′}\right)=\left[\begin{array}{c}m\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}+1}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}+1}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +m\×n\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +m\×n^2\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-1}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-1}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +m\×n^3\×\frac{1-{(1-{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}})}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-2}\×{\left({\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\right)}^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}-2}}{1-{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}+{\mathrm{\α}}_{t^{\′}}^{\mathrm{zl}}\×{\mathrm{\β}}_{t^{\′}}^{\mathrm{zl}}}\\ +...+m\×n^{{\mathrm{\λ}}_{t^{\′}}^{\mathrm{zl}}}\end{array}\right]\×D^{\mathrm{left}}\left(t^{\′}\right),$其中，此处2≤t'≤N，表示以与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的帧内预测比例，表示第t'帧左视点编码帧对第t'帧右视点编码帧的错误扩散因子，的值等于第t'帧左视点编码帧中参与预测第t'帧右视点编码帧的所有宏块的总失真与第t'帧左视点编码帧的失真的比值，表示以与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的总帧数，表示以与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的下一帧右视点编码帧开始的所有后续右视点编码帧的视点内预测比例，ω₁表示第t'帧左视点编码帧的加权系数，ω₂表示与第t'帧左视点编码帧相对应的第t'帧右视点编码帧的前一帧右视点编码帧的加权系数，ω₁+ω₂＝1；⑧计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的总错误扩散失真，将除第1帧左视点编码帧外的第t'帧左视点编码帧的总错误扩散失真记为$I_p^{\mathrm{left}}\left(t^{\′}\right)=\left\{\begin{array}{cc}{I}_{\mathrm{pl}}^{\mathrm{left}}\left(t^{\′}\right)+I_{\mathrm{pr}}^{\mathrm{left}}\left(t^{\′}\right)& 2\≤t^{\′}\≤N-1\\ I_{\mathrm{pr}}^{\mathrm{left}}\left(t^{\′}\right)& t^{\′}=N\end{array}\right.;$⑨根据编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的错误隐藏失真和总错误扩散失真，计算编码后的H.264/AVC立体视频中除第1帧左视点编码帧外的每帧左视点编码帧的帧重要性，将除第1帧左视点编码帧外的第t'帧左视点编码帧的帧重要性记为I^left(t')，其中，2≤t'≤N，t'的初始值为2。