[发明专利]时间显著图

说明书

本发明揭示一种产生时间显著图的方法。在特定实施例中，所述方法包含：从对象跟踪器接收对象边界框。所述方法包含：至少部分地基于所述对象边界框而裁剪视频帧以产生经裁剪图像。所述方法进一步包含：对所述经裁剪图像执行空间双分段以产生初始掩模，以及对所述初始掩模执行时间掩模细化以产生细化掩模。所述方法还包含：至少部分地基于所述细化掩模而产生时间显著图。

技术领域

本发明大体来说涉及对象跟踪。

背景技术

技术的进步已产生较小且较强大计算装置。举例来说，当前存在各种便携式个人计算装置，包含无线电话，例如移动及智能电话、平板及膝上型计算机，其为小型、轻量且容易由用户携带。这些装置可经由无线网络传递语音及数据包。此外，许多此些装置并入有额外功能性，例如数字静态相机、数字摄像相机、数字记录仪及音频文件播放器。此外，此些装置可处理可执行指令，包含可用于接入因特网的软件应用程序，例如web浏览器应用程序。如此，这些装置可包含凸显计算能力。

可期望将特殊效果应用于在视频帧之间被跟踪的对象。然而，使用典型边界框应用各种特殊效果可导致不满意用户体验。例如，可在边界框的边缘处或其附近的特殊效果的应用中存在突然转变，造成不真实且美观上令人不愉悦的图像。

发明内容

本发明描述可用于对象跟踪的时间显著图。在一些状况下，时间显著图可用于将特殊效果(例如，散景效果(其中图像的离焦部分模糊)、黑白效果或透镜效果，连同其它替代效果)应用于被对象跟踪器跟踪的对象。此些特殊效果可应用于相机预览模式、视频记录模式或快照模式连同其它替代模式中。在特殊效果应用程序中，时间显著图可通过将特殊效果应用于经识别为图像的前景部分(包含关注对象)的像素子组而不将特殊效果应用于经识别为图像的背景部分的像素来提供经改进用户体验。

在特定实例中，揭示产生时间显著图的方法。所述方法包含：从对象跟踪器接收对象边界框并至少部分地基于所述对象边界框而裁剪视频帧以产生经裁剪图像。所述方法进一步包含：对所述经裁剪图像执行空间双层分段以产生初始掩模及对所述初始掩模执行时间掩模细化以产生细化掩模。所述方法还包含：至少部分地基于所述细化掩模而产生时间显著图。

在另一特定实例中，揭示用于产生时间显著图的设备。所述设备包含处理器、对象跟踪器组件、帧裁剪组件、分段组件、掩模细化组件，及时间显著图产生组件。所述对象跟踪器组件可由处理器执行以产生对象边界框。所述帧裁剪组件可由处理器执行以至少部分地基于所述对象边界框而裁剪视频帧以产生经裁剪图像。所述分段组件可由处理器执行以对所述经裁剪图像执行空间多层分段以产生初始掩模，且所述掩模细化组件可由处理器执行以对所述初始掩模执行时间掩模细化以产生细化掩模。所述时间显著图产生组件可由处理器执行以至少部分地基于所述细化掩模而产生时间显著图。

在另一特定实例中，揭示产生时间显著图以将其作为反馈提供到对象跟踪器的方法。方法包含：从对象跟踪器接收对象边界框并对视频帧的部分执行空间双层分段以产生初始掩模。至少部分地基于所述对象边界框而确定所述视频帧的部分的边界。方法包含：对所述初始掩模执行时间掩模细化以产生细化掩模并至少部分地基于所述细化掩模而产生时间显著图。所述方法可包含将所述时间显著图作为反馈提到所述对象跟踪器。

在另一特定实例中，揭示产生时间显著图以将其作为反馈提供到对象跟踪器的设备。所述设备包含处理器、对象跟踪器组件、分段组件、掩模细化组件，及时间显著图产生组件。所述对象跟踪器组件可由处理器执行以产生对象边界框。所述分段组件可由所述处理器执行以对视频帧的部分执行空间双层分段以产生初始掩模，其中至少部分地基于所述对象边界框而确定所述视频帧的部分的边界。所述掩模细化组件可由处理器执行以对所述初始掩模执行时间掩模细化以产生细化掩模。时间显著图产生组件可由处理器执行以至少部分地基于所述细化掩模而产生时间显著图并将时间显著图作为反馈提供到所述对象跟踪器组件。

由所揭示实例中的至少一者提供的一个特定优点为在将特殊效果应用于所跟踪的关注对象时经改进用户体验。