[发明专利]帧内模式关注区视频对象分割

说明书

技术领域

本发明涉及视频对象分割，且更明确地说，涉及用于多媒体应用程序的从视频序列中自动分割关注区(ROI)视频对象的技术。

背景技术

自动关注区(ROI)视频对象分割可用于各种各样的利用视频序列的多媒体应用程序。ROI对象可称为视频帧内的“前景”对象，且非ROI区域可称为所述视频帧内的“背景”区域。ROI对象分割使得能够从视频序列的背景中提取所述视频序列中观看者可能关注的选定前景对象。多媒体应用程序可接着优先利用从视频序列分割的ROI对象。ROI对象的典型实例是人类面部或人体的头部及肩部区域。

举例来说，在视频监视应用程序中，可将从所俘获的视频序列分割的ROI对象输入到面部数据库系统中。所述面部数据库系统可使用所分割的ROI对象(例如，人类面部)以准确匹配存储于数据库内的目标面部对象。执法机构可利用此ROI对象分割应用程序来从监视视频序列中识别嫌疑犯。

作为另一实例，在视频电话(VT)应用程序中，可将从所俘获的视频序列分割的ROI对象输入到视频序列编码器。所述视频序列编码器可将更多资源分配给所分割的ROI对象以用更高质量编码所述ROI对象以供传输到接收方。VT应用程序准许用户共享视频和音频信息以支持例如视频会议等应用程序。在VT系统中，用户可发送和接收视频信息，仅接收视频信息，或仅发送视频信息。接收方通常以从发送方传输视频信息的形式观看所接收的视频信息。通过优先编码所分割的ROI对象，接收方能够比视频序列的非ROI区域更清楚地观看ROI对象。

其它实例包括其中人员播送信息视频的视频广播应用程序，例如现场或预录新闻或娱乐广播。在此类应用程序中，可能需要优先编码对应于演播员(例如新闻记者或访谈节目主持人)的面部的ROI对象。

常规上，自动ROI对象分割集中在运动分析、运动分割和区分割。在一种情况下，基于统计模型的对象分割算法将ROI对象概括为基于斑点(blob-based)的统计区模型和形状模型。因此，ROI对象分割问题可转换为模型检测和追踪问题。在另一情况下，可基于来自立体相机设置的两个视图之间的差别估计而从视频帧提取前景对象。又一情况提议一种ROI对象分割算法，其包括基于区的分割途径和基于特征的分割途径两者。所述算法使用区描述符来表示对象区，所述对象区相对于运动、颜色和纹理特征来说为同类的，且在整个视频序列上对所述对象区进行追踪。

发明内容

本发明针对于用于从视频序列自动分割关注区(ROI)视频对象的技术。ROI对象分割使得能够从视频序列的非ROI或“背景”区域中提取所述视频序列的选定ROI或“前景”对象。ROI对象的实例是人类面部或人体的头部及肩部区域。所揭示的技术包括组合ROI特征检测、区分割和背景减除的混合技术。以此方式，所揭示的技术可提供准确的前景对象生成和从视频序列提取前景对象的低复杂性提取。

所揭示的技术还包括用于基于面部特征的固有特性(例如对称位置和形状特点)而检验在视频序列的视频帧内所检测到的面部特征的技术。另外，所揭示的技术包括用于在视频序列的视频帧内分离多个个别面部的所检测到的面部特征的技术。如本文描述的，多面部分离技术可映射成最大匹配图形理论问题，其可将计算复杂性从指数降低到多项式。以此方式，所述技术提供对视频序列的帧内的每一面部的准确特征检测。

举例来说，ROI对象分割系统可实施本文所描述的技术。ROI对象分割系统支持帧内模式分割和帧间模式分割。帧内模式分割在不使用ROI对象运动信息的情况下独立于视频序列中的其它帧来处理视频序列的一个帧。帧间模式分割基于ROI对象的运动信息而处理视频序列的帧，所述运动信息指示当前帧与视频序列的先前帧或后续帧之间的运动。ROI对象分割系统可基于一个或一个分割模式决策因素而决定对所接收的帧执行帧内模式分割还是帧间模式分割。

所揭示的技术可进一步包括用于在帧内模式分割期间通过从整个帧内的一组候选区中自动选择视频帧的位于ROI对象形状内的界定区而生成前景对象的技术。所揭示的技术还包括用于在帧间模式分割期间基于背景建模和减除而检测前景对象内的移动区的技术。成功检测移动前景区可改进帧间模式分割期间的ROI特征检测的执行速度。

在一个实施例中，本发明提供一种方法，其包含：接收视频序列的视频帧；检测所述视频帧内的ROI特征；以及基于所检测到的ROI特征而近似推得所述视频帧内的ROI对象形状。所述方法还包含：基于所检测到的ROI特征而将视频帧分割为多个候选区；以及选择位于视频帧的ROI对象形状内的候选区中的一者或一者以上作为ROI对象。