[发明专利]一种视频显著性区域检测方法及系统

说明书

技术领域

本发明涉及视频处理技术领域，具体涉及一种视频显著性区域检测、分割方法及系统。

背景技术

视频编辑是多媒体商业应用中常需要处理的问题之一，例如要改变某些图像区域的色度、亮度来增加视觉效果，或者找出可叠加内容的视频区域。视频显著性检测是检测视频中可编辑区域最直接的方式。显著性区域是指视频中携带重要内容，直接引起视觉关注的区域。检测并分割视频显著性区域后，即可对非显著性区域进行编辑处理。

目前，最常用的显著性区域检测主流方法有基于频谱的检测和基于对比度的检测。其中，基于频谱的检测是提取图像频谱中的高频部分作为显著性区域。基于对比度的检测可以分为像素级检测显著性区域、局部区域级检测显著性区域、全局级检测显著性区域；也可以是综合这三个层次的检测得到静态显著性特征，再计算动态显著性特征，进一步结合静态显著性特征和动态显著性特征得到显著性区域。

其中，在基于对比度计算静态显著性特征的方法中，首先，像素级显著性区域检测方法通常把图像映射到多尺度空间里，在每个尺度下计算每个像素点和它周围像素点平方差之和作为这个个尺度下的测量，再把不同尺度的测量相加作为像素级显著性特征；其次，局部区域级显著性检测方法通常使用方形窗口指定一个局部区域和一个环形区域，并通过这个局部区域和环形区域颜色分布的距离标注局部区域的显著性；最后，全局级检测显著性区域检测方法通常采用各个颜色在图像中散布空间的扩散程度作为测量结果。把这三种方法应用在光流场中，可以获得这三个级别的动态显著性特征。分割视频显著性区域分割时，现有方法对视频中每一视频帧用一个独立的2D条件随机场（2D conditional random field，2D CRF）建模，并以上述显著性检测结果作为观测，分割出显著性区域。

在实施上述现有技术的过程中，本发明发明人发现现有技术只适用于检测亮度高于周边的显著性区域，无法检测亮或暗的突变区，而且还可能出现漏检的现象，而在分割视频显著性区域时也无法保证视频显著性区域分割结果的时间连贯性。

发明内容

针对上述缺陷，本发明实施例提供了一种视频显著性区域检测、分割方法及系统，提高视频显著性区域的检测精度和分割精度，以及视频显著性区域分割结果在空间上的连续性和在时间上的连贯性。

本发明第一方面提供一种视频显著性区域检测和分割的方法，包括：

根据像素奇异性对比度获得像素级的静态显著性特征；根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征；根据视频帧的颜色全局对比度、颜色空间分布值和每种颜色在所述视频帧中的概率获得全局级的静态显著性特征；

在光流场中，根据局部区域内光流强度的凝聚性、相对罕见性和重要性获得所述局部区域级的动态显著性特征；根据光流强度的全局对比度、光流强度空间分布值和光流强度在所述视频帧中的概率获得所述全局级的动态显著性特征；

结合获得的静态显著性特征和动态显著性特征获得视频显著性特征，利用相邻视频帧的外观相关性对所述视频显著性特征进行调制，以便根据调制后的视频显著性特征对视频帧中视频显著性区域进行分割。

结合第一方面，在第一种可能的实现方式中，所述根据像素奇异性对比度获得像素级的静态显著性特征，具体包括：

基于高斯核函数对视频帧进行多尺度变换得到至少两层不同尺度的图像；获取尺度变换后图像中每个像素点所对应的变换系数值，计算每个坐标位置上像素点对应的变换系数值和该像素点的8个邻域内的像素点对应的变换系数值的差值；对每个所述差值进行q方处理后求和得到中心邻域差，所述q为1或2的正整数；对每个尺度图像的所有中心邻域差求和得到奇异性对比度；对所有不同尺度图像的奇异性对比度进行插值处理后累加求和得到像素级的静态显著性特征。

结合第一方面，或第一方面的第一种可能的实现方式，在第二种可能实现的方式中，所述根据局部区域内像素特征的凝聚性、相对罕见性和重要性获得局部区域级的静态显著性特征，具体包括：

在视频帧中选取窗口型第一局部区域，并在所述第一局部区域周边选取第一环形区域，分别计算所述第一局部区域和第一环形区域内像素特征的特征分布值，再根据所述特征分布值计算所述像素特征所携带的信息；根据所述特征分布值和所述像素特征所携带的信息计算所述第一局部区域内像素特征的凝聚性的值、相对罕见性的值和重要性的值；所述像素特征的凝聚性的值与相对罕见性的值相加，再乘以所述像素特征的重要性的值获得局部区域级的静态显著性特征。