[发明专利]用于识别主体的方法、系统和计算机可读存储介质

说明书

本文中描述了基于特征点提取来标识视频内容中的显著主体的技术。可以处理视频文件以检测视频帧上的面部并且从视频帧提取特征点。一些视频帧可以包括所检测到的面部和所提取的特征点，并且其它视频帧可以不包括所检测到的面部。基于所提取的特征点，可以在没有检测到面部的视频帧上推断面部。推断可以基于特征点。附加地，视频帧可以被布置成组，并且两个或更多个组可以被合并。合并可以基于包括具有重叠特征点的视频帧的一些组。所得到的组每个可以标识主体。可以确定表示主体出现的若干个视频帧的频率，以用于计算视频文件中的每个所标识的对象的显著性分数。

技术领域

本公开的实施例总体上涉及信息处理，并且更具体地涉及识别主体。

背景技术

视频内容消费者可能希望标识视频内容中的显著人物、演员和/或人物角色。然而，消费视频内容涉及大量的时间投入。与可能被立即消费的照片不同，用户可能需要在标识重要人物、演员和/或人物角色之前查看整个视频。例如，如果用户具有包括数百个视频文件的视频集合，则他或她可能需要观看视频集合中的整个长度的视频文件以标识视频文件中的显著人物、演员和/或人物角色。最终，用户可能需要观看整个视频集合以标识哪些视频文件与特定的显著人物、演员和/或人物角色相关联。因为这种标识过程是耗时的，所以已经开发了优化视频消耗的技术。

用于标识视频内容中的人物角色的当前技术涉及面部检测和分组。然而，许多当前技术由于图像数据和视频内容之间的差异而产生低质量的结果和/或不准确。在图像数据中，人物、演员和/或人物角色通常在图像数据捕获期间摆姿势。因此，人物、演员和/或人物角色典型地是静止的(例如，没有运动)，并且照明条件是均匀的。然而，在视频内容的上下文中，人物、演员和/或人物角色通常不会摆姿势，并且视频内容的质量不如图像数据均匀。例如，很多时候、人物、演员和/或人物角色正在运动，并且因此可能背离照相机。在一些情况下，人物、演员和/或人物角色改变面部表情或可以部分地被遮挡。视频内容中的照明条件变化，使得识别人物、演员和/或人物角色比在图像数据中更困难。因此，当前技术不足以高效地和有效地标识视频数据中的重要人物、演员和/或人物角色。

发明内容

本公开描述了用于基于特征点提取标识视频内容中的显著主体的技术。视频文件中的面部识别技术(包括面部检测和特征点检测和跟踪)可以用于优化主体识别、分组和检测视频文件中的重要主体。

在至少一个示例中，可以处理视频文件以检测与视频文件的视频帧中的主体相关联的面部并且提取视频帧中的特征点。所提取的特征点可以用于推断未检测到面部的视频帧上的面部。在至少一个示例中，与第一视频帧中的所检测到的面部相关联的至少一个特征点可以与没有检测到面部的第二视频帧中的至少一个特征点重叠。可以基于重叠的特征点在第二视频帧中推断出所检测到的面部。

可以基于相似性(例如，相同主体的面部)对所标识的(例如，所检测到的或推断的)面部进行分组。与所标识的(例如，所检测到的或推断的)面部相关联的视频帧可以被布置成组。所提取的特征点可以再次用于组合两个或更多个视频帧组以创建细化组集合。在至少一个示例中，组合可以至少部分地基于包括具有与所标识(例如，所检测到的或推断的)的面部相关联的重叠的特征点的视频帧的两个或更多个组。每个细化组可以与视频文件中的主体相关联。可以通过对包括各个主体的若干个视频帧进行计数并且将该数目除以视频文件中的视频帧的总数来确定与视频文件中的每个主体相关联的频率。可以至少部分地基于与主体相关联的尺寸值、与主体相关联的位置值和与主体相关联的频率来确定与主体相关联的显著性分数。

利用本文中所描述的技术可以使得视频消费者能够以更高效和有效的方式消费视频内容。例如，针对各个主体确定的显著性分数可以用于基于显著性分数对视频文件中的主体进行排名。显著性分数可以用于根据用户请求来过滤视频集合中的视频文件。然后可以基于与每个经过滤的视频文件中的用户指定主体相关联的显著性分数来对经过滤的视频文件进行排名。附加地，本文中所描述的技术可以用于以其它方式优化视频回放、共享和/或编辑。