[发明专利]一种视频兴趣物体提取与关联的方法及系统

说明书

技术领域

本发明涉及图像和视频处理领域，特别是一种视频对象提取方法与关联的方法及系统。

背景技术

随着多媒体技术及网络通信技术的发展，越来越多的视频涌现在互联网上，而播放视频的需求也在迅速增加。在播放视频的时候，许多视频网站和视频软件采用了对视频提供相关附加信息的技术，以使用户获得增强的观看体验。目前，常见的视频内容增强方法着重于提供视频制作者预先定义的增值信息，包括：

时域信息插入。指在视频的开头缓冲、中途暂停或结尾播放一段额外的相关信息。

周边信息关联。指当视频播放时，在视频播放器的周边(如网页、播放器边框)显示增值信息。

叠加信息相关。指在视频的部分内容上叠加附加信息，通常不影响主要部分。

文字信息相关。指将视频链接在文本里，不同文本触发不同的视频。

目前，这四种视频内容增强方法都得到了广泛的应用。优酷(www.youku.com)和Youtube(www.youtube.com)等主要采用第一种和第三种方法，而土豆网(www.tudou.com)主要采用第二种方法，第四种方法被Vibrant Media(www.vibrantmedia.com)采用。然而这些方法的效果通常不太理想，因为它们会对用户正常的观看产生干扰。而这些方式提供的信息通常和视频内容关联程度较低，从而容易被用户忽略。

为了增强增值信息与视频内容的相关程度，现有技术试图通过视频内容自动分析或者用户交互来提供与视频内容相关的信息。例如：

允许用户选择广告，来浏览存储在高速缓存中的广告增值信息的方法，这种方法的前提是对于特定的视频事先提供好相关的广告，具有一定局限性，且提供的广告灵活性不高；

让服务器根据视频的标签查找与该标签相关联的广告，并从查找到的广告中选择一个或多个广告将其插入到所述视频内容的指定位置，然而，视频标签并不能精确描述视频中用户感兴趣的内容，提供的广告虽然大致方向一致，但很多时候属于用户不感兴趣的范围。

上述方法的局限性可以归纳为以下几点：

现有方法提供的增值信息和视频内容关联程度低；自动分析提供的增值信息不具备用户个性化，不能满足用户偏好。

发明内容

为了克服以上的不足之处，本发明实施例提出了一种视频兴趣物体提取与关联方法及系统。可以通过直接对视频内容进行交互以得到用户感兴趣的物体。进而通过兴趣物体关联得到相关的增值信息，以增强视频的观看体验。通过这样的方式，使得用户在不受强迫(non-compelled)的前提下根据自己的兴趣作出选择，充分挖掘了视频本身信息，进而为用户提供了一种新的视频浏览和体验方式。

本发明实施例提供了一种视频兴趣物体提取与关联的方法，所述方法包括：

根据粗定位过程中获得的点信息生成关注度参数，所述关注度参数用于表示视频帧中各区域的受关注程度；

根据视频帧中各区域的关注程度识别出前景区域；

对所述前景区域进行凸包化处理获得候选兴趣物体，根据用户重选择结果确定最优候选兴趣物体；

提取所述最优候选兴趣物体的视觉特征，根据所述视觉特征在图像特征库中检索出最优图像，在增值信息库中匹配出所述最优图像对应的增值信息，并将匹配出的所述增值信息呈现给所述用户。

本发明实施例提供了一种基于两阶段交互的视频兴趣物体提取与关联系统，包括：

基本交互模块用于提供根据粗定位过程中获得的点信息；

兴趣物体提取模块用于根据粗定位过程中用户提供的点信息生成关注度参数，所述关注度参数用于表示视频帧中各区域的受关注程度，根据视频帧中各区域的关注程度识别出前景区域，对所述前景区域进行凸包化处理获得候选兴趣物体；

扩展交互模块用于根据用户重选择结果确定最优候选兴趣物体；

增值信息检索模块用于提取所述最优候选兴趣物体的视觉特征，根据所述视觉特征在图像特征库中检索出最优图像，在增值信息库中匹配出所述最优图像对应的增值信息，并将匹配出的所述增值信息呈现给所述用户。

本发明实施例提供用户一套不限于常规方式的交互装置，给定任意视频，用户可以通过简单的交互选择兴趣物体，并检索相关增值信息，并最终在不影响用户观看的前提下将最终结果呈现出来，以方便用户对感兴趣的视频内容的进一步了解和探索。本发明实施例提供的增值信息和视频内容关联程度高；交互使得用户偏好得到满足，可能为用户提供个性化的服务；交互方法应用场景广泛，简单，不需要先验知识。

附图说明