[发明专利]一种基于数字家庭高清媒体的内容分析方法及系统

说明书

技术领域

本发明涉及高清媒体内容处理技术领域，尤其涉及一种基于数字家庭高清媒体的内容分析方法及系统。

背景技术

随着互联网的快速发展以及信息高速公路的不断进步，越来越多的视频、图像、音频等多媒体信息开始走入家庭社区，人们正在快速地步入数字化、信息化的社会。为了有效地进行组织和管理越来越多的多媒体数据，基于内容的视频分析技术应运而生。该技术通过对视频内容进行计算机处理、分析和理解，在计算机处理的底层特征和人类理解的高层语义之间建立关联，从而为视频的特征提取或信息检索提供技术支持。

在电影、电视剧等故事性很强的视频中，如何帮助用户快速地理清视频中的故事情节是视频研究的重要内容，也受到越来越多人的重视和研究。由于人物关系涉及到视频内部内容的提取和分析，传统的基于标签的视频分析技术无法有效地做到这点，因此需要基于内容的视频分析技术对视频进行基于高层语义的分析和理解。

在社会信息化、数字化的驱动下，基于内容的视频分析技术得到国内外学者的广泛关注。而视频中的人物又是构成视频内容的主要实体，因此本发明围绕着视频中的人物而展开，重点分析人物之间的关系并为用户提供基于兴趣偏好的视频点播功能。

目前已经有很多学者利用基于内容的视频分析策略对视频中人物进行分析，比如，基于人物的视频镜头索引和视频主要演员的生成一类，都是以人物为研究中心的视频分析方法。这些方法以人脸作为视觉特征，首先找出在视频中经常出现的活跃人物。然后利用基于内容的视频检索机制，实现高效地检索兴趣镜头的功能。主要用到的技术有视频结构化建模、人物特征提取和识别、基于语义的视频分析。除此之外还有特征分析后利用检索技术进行特征检索，包括：出关键特征抽取、根据关键特征建立索引，最后建立基于主要演员镜头的索引并完成主要人物特点的分析。

现有不少技术对视频中人物进行分析，但是这些技术主要面向每个单个人物，每次都以每一个特定的人物为研究对象，忽略了人物之间的连接。而人物关系又是用户把握视频剧情的一重要线索，人物脉络分析的缺失将会很大程度地影响用户的满意度。有些研究即使是考虑到了人物关系，却是将人物之间关系视为恒定不变的，即整个视频的播放过程中所有角色之间的社会/情感关系固定。这在较短情节变化缓慢的视频中还可以接受，一旦面向的视频播放时间变长或集数变多，过于死板的人物关系设定又将使得用户无法忍受。媒体化时代里用户往往希望快速把握各个剧集下人物脉络情感的发展、每个角色在不同集目下出现频率的多少等一系列相关的问题，从而可以实现视频剧情快速预览和感兴趣区域定向播放的愿望。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于数字家庭高清媒体的内容分析方法及系统，可以应用于电视连续剧等故事性强的多集数字家庭高清媒体，在频人物和情节分析方面同层次上的技术设计，帮助连续剧用户快速把握多集视频的人物脉络和情感发展，最终实现快速预览和目标定位。

为了解决上述问题，本发明提出了一种基于数字家庭高清媒体的内容分析方法，所述方法包括：

对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征；

将整个视频中每集的人物脉络特征内容提取，并根据内容展示接口中的脉络特征格式呈现；

根据搜索目标检索所有集目下的视频显现率，并在内容展现接口呈现出对应角色在每一集下出现的频率大小，同时视频显现率较高的视频链接以平铺形式展现以供点击浏览；

以视频相册形式显示当前选定的视频的各个关键帧。

优选地，所述对视频进行结构化处理及关键帧提取，获取视频中各人物特征以及人物之间的共生性特征的步骤，包括：

对视频进行结构化分析，将镜头作为视频段的基本单位；

对镜头中背景进行建模，与当前背景之间的差异初步进行运动目标的位置检测；

在当前帧图片上提取人物的头部特征；

根据目标特征按照最近邻聚类方法实现人物的身份识别和判定；

根据角色的参与度对人物进行筛选过滤，将人物出现频率高于阈值的面部特征作为兴趣范围；

对兴趣范围内任两个角色之间，计算其基于时间的共生性和基于空间的共生性，并实现加权共生性计算；

对所有人物信息进行聚类，并用聚类标签标记兴趣范围内任两个人物之间的共相互关系。

优选地，所述对镜头中背景进行建模的步骤，包括：

利用高斯分布模型对镜头中背景进行建模。