[发明专利]基于高阶奇异值分解的视频融合性能评价方法

摘要

本发明公开了一种基于高阶奇异值分解的视频融合性能评价方法，主要解决现有技术不能对含噪声视频图像的融合性能进行评价的问题。其实现步骤为：分别输入已配准的两个参考视频和一个融合视频；将已输入的视频组成一个四阶张量，并对其进行高阶奇异值分解，得到各自的空间几何特征背景图像和时间运动特征图像；再通过阈值化方法将时间运动特征图像划分为运动目标区域和噪声区域；然后分别设计不同的评价指标对各区域进行评价；最后通过幂指数乘法构建出整体性能评价指标，从而实现对视频图像整体融合性能的评价。本发明能够对噪声环境下视频的融合性能进行有效、准确和客观地评价，可用于监控融合视频图像质量。

主权项

1.一种基于高阶奇异值分解的视频融合性能评价方法，包括如下步骤：(1)分别输入两幅参考视频和一幅融合视频，即第一幅参考视频a、第二幅参考视频b以及融合视频f；(2)用输入的第一幅参考视频a、第二幅参考视频b以及融合视频f，构成一个四阶张量υ(x,y,t,n)：υ(x,y,t,n)=a(x,y,t),n=1b(x,y,t),n=2f(x,y,t),n=3,]]>其中(x,y)表示空间坐标，t表示时间坐标，n表示四阶张量第四维坐标；(3)对上述四阶张量υ(x,y,t,n)进行高阶奇异值分解，得到核心张量δ、x方向上的正交矩阵Q、y方向上的正交矩阵I、t方向上的正交矩阵G和n方向上的正交矩阵W，并将其进行乘积运算，得到特征图像ζ(x,y,t,n)；(4)根据时间坐标t和四阶张量第四维坐标n的取值，对特征图像ζ(x,y,t,n)进行分类：当t=1，n=1时，则用特征图像ζ(x,y,t,n)表示第一幅参考视频a的空间几何特征背景图像ζ(x,y,1,1)；当t≠1，n=1时，则用特征图像ζ(x,y,t,n)表示第一幅参考视频a的时间运动特征图像ζ(x,y,t,1)；当t=1，n=2时，则用特征图像ζ(x,y,t,n)表示第二幅参考视频b的空间几何特征背景图像ζ(x,y,1,2)；当t≠1，n=2时，则用特征图像ζ(x,y,t,n)表示第二幅参考视频b的时间运动特征图像ζ(x,y,t,2)；当t=1，n=3时，则用特征图像ζ(x,y,t,n)表示融合视频f的空间几何特征背景图像ζ(x,y,1,3)；当t≠1，n=3时，则用特征图像ζ(x,y,t,n)表示融合视频f的时间运动特征图像ζ(x,y,t,3)；(5)根据第一幅参考视频a的空间几何特征背景图像ζ(x,y,1,1)、第二幅参考视频b的空间几何特征背景图像ζ(x,y,1,2)和融合视频f的空间几何特征背景图像ζ(x,y,1,3)，利用基于结构相似度的评价指标Q_s，对空间几何特征背景的融合性能进行评价；(6)通过阈值化法将第一幅参考视频a的时间运动特征图像ζ(x,y,t,1)和第二幅参考视频b的时间运动特征图像ζ(x,y,t,2)均划分成运动目标区域R₁和噪声区域R₂；(7)对运动目标区域R₁和噪声区域R₂的融合性能进行评价：7.1)根据第一幅参考视频a的每一帧时间运动特征图像ζ(x,y,t,1)和融合视频f中与之对应帧的时间运动特征图像ζ(x,y,t,3)，得到第一幅参考视频a和融合视频f对应运动目标区域的时间评价指标Q_af(t)：Qaf(t)=2Σ(x,y)∈R1|ζ(x,y,t,1)ζ(x,y,t,3)|Ea(t)+Ef(t),]]>其中，E_a(t)表示第一幅参考视频a的时间运动特征图像ζ(x,y,t,1)的运动目标区域的能量，E_f(t)表示融合视频f的时间运动特征图像ζ(x,y,t,3)的运动目标区域的能量；7.2)根据第二幅参考视频b的每一帧时间运动特征图像ζ(x,y,t,2)和融合视频f中与之对应帧的时间运动特征图像ζ(x,y,t,3)，得到第二幅参考视频b和融合视频f对应运动目标区域的时间评价指标Q_bf(t)：Qbf(t)=2Σ(x,y)∈R1|ζ(x,y,t,2)ζ(x,y,t,3)|Eb(t)+Ef(t),]]>其中，E_b(t)表示第二幅参考视频b的时间运动特征图像ζ(x,y,t,2)的运动目标区域的能量，E_f(t)表示融合视频f的时间运动特征图像ζ(x,y,t,3)的运动目标区域的能量；7.3)根据第一幅参考视频a和融合视频f对应运动目标区域的时间评价指标Q_af(t)和第二幅参考视频b和融合视频f对应运动目标区域的时间评价指标Q_bf(t)，得到视频融合的时间融合性能评价指标Q_t：Qt=Σt=2T(max(Qaf(t),Qbf(t)))T-1,]]>其中，T表示处理的视频图像帧数；7.4)根据第一幅参考视频a的每一帧时间运动特征图像ζ(x,y,t,1)和融合视频f中与之对应帧的时间运动特征图像ζ(x,y,t,3)，得到第一幅参考视频a和融合视频f对应噪声区域的噪声评价指标N_af(t)：Naf(t)=2Σ(x,y)∈R2|ζ(x,y,t,1)ζ(x,y,t,3)|Da(t)+Df(t),]]>其中，D_a(t)表示第一幅参考视频a的时间运动特征图像ζ(x,y,t,1)的噪声区域的能量，D_f(t)表示融合视频f的时间运动特征图像ζ(x,y,t,3)的噪声区域的能量；7.5)根据第二幅参考视频b的每一帧时间运动特征图像ζ(x,y,t,2)和融合视频f中与之对应帧的时间运动特征图像ζ(x,y,t,3)，得到第二幅参考视频b和融合视频f对应噪声区域的噪声评价指标N_bf(t)：Nbf(t)=2Σ(x,y)∈R2|ζ(x,y,t,2)ζ(x,y,t,3)|Db(t)+Df(t),]]>其中，D_b(t)表示第二幅参考视频b的时间运动特征图像ζ(x,y,t,2)的噪声区域的能量，D_f(t)表示融合视频f的时间运动特征图像ζ(x,y,t,3)的噪声区域的能量；7.6)根据第一幅参考视频a和融合视频f对应噪声区域的噪声评价指标N_af(t)和第二幅参考视频b和融合视频f对应噪声区域的噪声评价指标N_bf(t)，得到视频融合的噪声融合性能评价指标Q_n：Qn=1-Σt=2T(max(Naf(t),Nbf(t)))T-1,]]>其中，T表示处理的视频图像帧数；(8)将空间几何特征背景的融合性能评价指标Q_s与时间融合性能评价指标Q_t进行幂指数相乘，得到视频融合的时空融合性能评价指标Q_st；(9)将视频融合的时空融合性能评价指标Q_st与视频融合的噪声融合性能评价指标Q_n进行幂指数相乘，得到视频融合的整体融合性能评价指标Q_nst。