[发明专利]一种基于时空信息的非对称失真三维视频的加权质量评价方法

说明书

本发明提出了一种基于时空信息的非对称失真三维视频的加权质量评价方法，其特征在于：首先，使用二维图像/视频质量评价方法计算左右视图视频序列的分数；其次，提取左右视图视频序列每一帧的空间和时间信息；接着，使用该均值和标准差计算每一帧的变异系数；使用变异系数的四分位数得到阈值对每一帧进行分类；然后，对分类后的视频帧，分别对左右视频序列计算帧优势级别，接着计算左右视频序列全局的优势级别；使用求得的优势级别对左右视频的质量分数进行加权，得到最终整个三维视频的质量分数。实验结果显示，在使用二维图像/视频质量评价方法预测非对称失真三维视频视觉质量时，该加权评价方法能够有效改善其性能。

技术领域

本发明设计了一种非对称失真三维视频的加权评价方法，属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。

背景技术

随着数字媒体和社交网络的发展，从简单的文本到可视化的图像，从图像到动态的视频，从二维视频到立体的三维视频，信息媒体的形式越来越多样化。然而，这些信息媒体可能在不稳定的条件下产生，或者在不稳定的网络条件下传输，这就可能破坏了信息的完整性，导致体验质量降低。另一方面，图像/视频最终是被人观看的，评价图像/视频的视觉质量唯一可靠的方法就是人的主观评价。然而，主观评价的成本是昂贵的，并且其是非实时的。因此，迫切需要客观的评价方法来自动预测图像/视频的感知质量。

三维视频在不稳定的网络环境下传输。在三维视频编码和传输过程中，可能会产生非对称失真的情况，即左右视图的失真类型或级别存在显著的差异，从而导致了不同的三维视频质量感受。相关主观实验表明，若直接平均左右两个二维视频质量分数来预测三维视频质量，将会导致强烈的预测偏差，即与人主观感受到的质量体验情况不一致。除此之外，主观实验研究还发现，通过后期处理提高低质量视频的模糊度可以提高3D视频的感知质量。因此，三维视频质量评估是有意义的且富有挑战性的，尤其是在失真不对称的情况下。

提出能够对非对称三维视频进行加权的目的在于：

(1)现有的许多图像/视频质量评价算法都采用了先局部质量测量后平均加权的两阶段结构，此加权策略虽然简单易行，但可能效果不佳，偏离了人的主观判断，本加权算法有利于优化图像/视频质量评价算法的性能。

(2)通过高效的非对称失真三维视频的加权策略，有利于提高算法性能，增强三维视频质量与人眼主观评判好坏的相关性。

(3)研究非对称失真三维视频的加权策略，有助于进一步理解人类感知视觉系统，如双目竞争机制等，有助于视觉科学的发展。

因此，有效且预测准确的非对称失真三维视频的加权策略方法对于三维视频的发展会有很大的促进作用。

发明内容

本发明提出了一种基于时空信息的非对称失真三维视频的加权质量评价方法，其特征在于：首先，使用二维图像/视频质量评价方法计算左右视图视频序列的分数；其次，提取左右视图视频序列每一帧的空间和时间信息；提取空间信息，使用Scharr算子对左右视图视频序列的每一帧进行滤波，接着计算其梯度大小，计算左右视频序列每一帧的均值和标准差；提取时间信息，求得前后两帧的帧差，计算左右视频序列每一帧帧差的均值和标准差，接着，使用该均值和标准差计算每一帧的变异系数；使用变异系数的四分位数得到阈值对每一帧进行分类；然后，对分类后的视频帧，分别对左右视频序列计算帧优势级别，接着计算左右视频序列全局的优势级别；使用求得的优势级别对左右视频的质量分数进行加权，得到最终整个三维视频的质量分数。实验结果显示，在使用二维图像/视频质量评价方法预测非对称失真三维视频视觉质量时，该加权评价方法能够有效改善其性能。

一种基于时空信息的非对称失真三维视频的加权质量评价方法，其特征在于，包括以下几个步骤：

A.采用二维图像/视频质量评价方法评估单视图视频的质量分数；

B.提取单视图视频每一帧的空间信息量和时间信息量；