[发明专利]基于多通道特征的全景视频显著性检测方法

权利要求书

1.一种基于多通道特征的全景视频显著性检测方法，其特征在于，包括：

S1：对全景图像进行反向的ERP变换，将平面全景图像映射到球面上，生成球形全景图像；

S2：采用与球形全景图像相切的平面来模拟视觉窗口图像，得到不同的图像块；

S3：在不同特征空间中，利用不同的显著性操作算子将特征空间中图像块的显著区域提取出来，形成不同的显著特征子图，同时考虑图像块序列之间的运动信息，将图像的显著性检测转化为视频的显著性检测；

S4：对不同的显著特征子图进行融合，生成总显著性图；

所述S3，包括如下子步骤：

S3.1：提取图像块基于像素s的边带金字塔域的不同层次和朝向的统计特征子图f₁(s)：

在平面全景图像的图像块的灰度图中构建一个可控的金字塔模型；计算不同空间频率和朝向画面的直方图来估计概率密度分布，对不同的层次和朝向的结果进行了加权线性相加，得到基于像素s的边带金字塔域的不同层次和朝向的统计特征子图f₁(s)如下所示：

其中，α_k表示对所有朝向和层次的权重，其中垂直和水平方向被赋予了相同的权重，而对于不同频率成分之间的权重则通过函数进行分配；P_k表示亮度在金字塔W的边带k中对应的概率，I_s表示像素s的亮度；

S3.2：提取图像块基于像素s的颜色特征子图f₂(s)：

通过计算图像块中图像在RGB三个通道的分布并进行整合，得到如下式所示的像素s的颜色特征值O(s)：

其中，λ_c是通过RGB到给定颜色格式的亮度值转换中学到的颜色通道的权重，P_c表示不同颜色通道的亮度对应的概率；

将CIELAB空间的颜色距离乘以基于像素之间空间距离的权重，进行归一化处理，得到：

其中，k_s为归一化的分母项，C计算了CIELAB空间的颜色距离，函数g_d用来基于像素空间之间的距离设定权重，s′表示空间中的另一个像素，I_s′表示其对应的亮度，Ω表示图像块的像素集合，ΔL^*、Δa^*、Δb^*分别表示两个像素在CIELAB空间中三个分量上的距离；

S3.3：提取图像块的局部对称特征子图f₃：

检测图像块中图像的局部对称轴，得到的结果作为图像块的局部对称特征子图f₃；

S3.4：提取图像块的语义特征子图f₄：

使用目标检测算法提取图像块中图像的高阶特征，得到图像块的语义特征子图f₄；

S3.5：提取图像块的运动信息特征子图f₅：

对视觉窗口中的图像块序列进行检测，将运动信息加入检测中，得到的结果作为一组图像块的运动信息特征子图f₅；

所述S4，采用线性加权法对S3中得到的不同特征子图进行特征融合；在特征融合过程中，对于高纬度的视觉窗口对应的显著性特征子图，在特征融合时分配更低的权重来抑制两极的显著区域可能性。

2.根据权利要求1所述的基于多通道特征的全景视频显著性检测方法，其特征在于，所述S1中，球形全景图像的表达式为：

其中，λ是平面全景图像直角坐标系中点(x,y)投影到球面后的经度，是平面全景图像投影到球面后的纬度，是平面全景图像水平中轴线对应的纬度，此处取值为0，λ₀是平面全景图像的中央子午线对应的经度。

3.根据权利要求1所述的基于多通道特征的全景视频显著性检测方法，其特征在于，所述S2，包括如下子步骤：

S2.1：设置与球形全景图像球面相切的平面，然后将视觉窗口中球面上有限角度的曲面投影到所述平面作为当前画面的图像块；

S2.2：将视觉窗口转动固定的角度，与球面相切的平面随之移动到和窗口中心相切的新经纬度上，得到下一张投影后的图像块；

S2.3：重复S2.2，得到模拟视觉窗口中多视角观看平面全景图像的一系列图像块。