[发明专利]视频中对象的语意解析

说明书

技术领域

本发明涉及视频处理及对象识别，且更具体的，涉及分析对象的图像以识别属性。

背景技术

自动地识别视频中的对象及其各部分的位置对于许多任务而言是重要的。举例而言，在人体部位的情况下，自动地识别人体各部位的位置对诸如自动动作辨识、人类姿势估计等的任务而言是重要的。身体解析是用以描述视频中的各个身体部位的计算机化定位的术语。用于视频中的身体解析的现有方法仅估计诸如头、腿、手臂等部位的位置。参见(例如)Ramanan等人“Strike a Pose:Tracking People by Finding Stylized Poses”，2005年6月美国加州圣地亚哥(San Diego,CA)Computer Vision and Pattern Recognition(CVPR)及Felzenszwalb等人“Pictorial Structures for Object Recognition”，2005年1月International Journal of Computer Vision(IJCV)。

大多数先前方法实际上仅执行语法对象解析，也即，这些方法仅估计对象部位(例如，手臂、腿、脸部等)的定位，而没有有效地估计与这些对象部位相关联的语意属性。

鉴于上述内容，需要一种用于自图像有效地识别对象的语意属性的方法及系统。

发明内容

本发明在于用于估计视频中的对象的部位及属性的一种方法、一种计算机程序产品、一种计算机系统及一种处理。该方法、该计算机程序产品、该计算机系统及该处理包含：接收视频输入；从所述视频输入检测对象且从所述视频输入裁切所述对象的图像；接收具有所述对象的相关联部位的多个语意属性；产生并储存所述图像的多个版本，每一版本具有所述对象的所述图像的不同分辨率；针对所述多个语意属性，计算在所述对象的所述图像的所述版本中的最低分辨率版本上的多个区域中的每一区域处的外观分数，针对每一区域的所述多个语意属性中的至少一个语意属性的所述外观分数指示所述至少一个语意属性中的每一语意属性出现于所述区域中的概率；针对所述最低分辨率版本中的每一区域来分析分辨率相对于所述最低分辨率版本递增的版本，以计算分辨率内容脉络分数，所述最低分辨率版本中的所述分辨率内容脉络分数指示如下的程度，所述程度是针对每一区域，相比于最低分辨率版本，在所述分辨率递增的版本中存在更精细的空间结构的程度；确定所述最低分辨率版本中的身体部位及相关联语意属性的优化结构，所述确定利用所述最低分辨率版本的各区域中的外观分数及分辨率内容脉络分数；以及显示和/或储存身体部位及相关联语意属性的所述优化结构。

附图说明

参考以下附图通过仅为举例的方式说明本发明的优选实施例，其中：

图1示出了根据本发明实施例的用于检测人体的语意属性的系统的说明性环境。

图2示出了根据本发明实施例的用于检测视频中的人体的语意属性的说明性环境的近视图。

图3示出了根据本发明实施例的输入及输出的实例。

图4示出了根据本发明实施例的用于检测图像上的语意属性的说明性数据流。

图5示出了根据本发明实施例的与身体部位相关联的语意属性的实例。

图5A及图5B示出了根据本发明实施例的将语意属性应用于人体图像的实例。

图5C示出了根据本发明实施例的评估外观分数的实例。

图5D示出了根据本发明实施例的用于计算外观分数的步骤的输入及输出。

图6及图6A示出了根据本发明实施例的计算分辨率内容脉络分数的实例。

图6B示出了根据本发明实施例的用于计算分辨率内容脉络分数的步骤的输入及输出。

图7A及图7B示出了根据本发明实施例的用于计算最佳配置的几何分数的实例。

图7C示出了根据本发明实施例的用于计算几何分数的步骤的输入及输出。

图8示出了根据本发明实施例的用于计算总分的步骤的输入及输出。

请注意，这些附图并不按比例绘制。这些附图意欲仅描绘本发明的典型方面，且因此不应被认为限制本发明的范畴。虽然这些附图说明了对视频中的人体的处理，但本发明扩展至对视频中的其他对象的处理。在附图中，类似编号表示附图之间的类似组件。

具体实施方式

本发明涉及视频处理及对象识别，且更具体的，涉及分析对象的图像以识别属性