[发明专利]图像处理装置、图像处理方法，图像处理程序及集成电路

说明书

技术领域

本发明涉及多媒体处理及图像处理，特别涉及从多个内容中提取具有类似的部分的内容并连结的技术。

背景技术

随着个人用数字设备（例如，数字摄像机、数字视频摄像机等）的受欢迎程度提高，摄影出的家庭用的数字视频的数量爆发性地增加。这是因为，（1）存储摄影出的视频（视频片断）的存储装置的存储容量变大；（2）摄影出的视频仅包含单镜头（single shot）的影像，其摄影时间（再现时间）非常短；（3）对多种多样的题材或事件进行摄影等。因此，用户需要将在不同的场所及时间摄影的自己的视频集频繁地维护、管理，如果其数量变得庞大，则难以管理或操作。例如，用户从自己摄影的大量存在的视频中阅览希望的视频并不容易。

以往，为了能够将这样的大量的视频高效率地阅览，有将视频摘要的技术。在视频的摘要技术中，在应在摘要中使用的特征是与视频的故事无关的特征的情况下丢失了原来的视频的详细数据，或者在应在摘要中使用的特征包含于视频的几乎全部图像中的情况下不能进行摘要等。在这样的情况下，摘要自身有可能变得不正确。

此外，作为与上述技术不同的技术，有将视频合成（连结）的技术（参照非专利文献1～3）。例如，非专利文献1公开了在存在与视频段建立了关联的域（domain）固有元数据的情况下自动地合成为有一贯性的视频的技术。此外，非专利文献2中公开的系统是选择家庭视频段、并通过将其沿着音乐排列来制作编辑视频段的系统。

这里，所谓镜头（shot），是视频的最基本的物理的实体，表示用一台摄像机记录的不包含中断的视频片断。上述单镜头（也称作短镜头），是指持续时间比较短的不包含中断的视频片断。

现有技术文献

非专利文献

非专利文献1：Automatic composition techniques for video production.Knowledge and Data Engineering,1998,G.Ahanger

非专利文献2：Optimization-Based Automated Home Video EditingSystem.IEEE Transactions on Circuits and Systems for Video Technology，2004,X.S.Hua,L.Lu,and H.J.Zhang

非专利文献3：Systematic evaluation of logical story unit segmentation.IEEE Transactions on Multimedia,2002,J.Vendrig and M.Worring

发明概要

发明要解决的问题

但是，在上述各非专利文献所公开的技术中，如果将一个视频与其他视频结合而再现，则当再现对象从一个视频向其他视频切换时，场面急剧变化的可能性较高。在这样的情况下，如果从视听的一侧看，则会对一个视频与其他视频的连接感到不适感。

发明内容

所以，本发明鉴于上述问题，目的是提供一种能够在再现时从视听侧减少不适感、并且从多个内容（例如视频）尽可能维持各内容的故事性而将内容结合的图像处理装置、图像处理方法、图像处理程序及集成电路。

用于解决问题的手段

为了达到上述目的，本发明是一种图像处理装置，其特征在于，具备：第一处理单元，针对有关动态图像的多个内容的各个内容，分别检测下述类似度，该类似度是在时间上后续于该内容所包含的第一部分内容的第二部分内容、与构成上述多个内容中的与该内容不同的检测对象内容的一部分且在时间上连续的多个部分内容之间的类似度，并且检测该多个部分内容中的与上述第二部分内容的类似度高的第三部分内容；第二处理单元，使用由上述第一处理单元检测到的上述第二部分内容与上述第三部分内容的类似度，生成下述信息，该信息表示用于将上述第一部分内容、上述第二部分内容及上述第三部分内容连结的关系。

发明效果

根据该结构，图像处理装置通过使用生成的信息，能够进行第二部分内容与多个部分内容中的类似度最高的第三部分内容的结合。因此，如果将结合后的内容再现，则由于在类似的部分处连接，所以视听侧能够没有不适感而视听。此外，在结合时由于还包含第一部分内容，所以维持了包括第一部分内容在内的内容的故事性。

附图说明

图1是表示图像处理装置1的结构的模块图。

图2是使用偏好系数说明帧序列对应性的计算方法的图。

图3是表示在人物检测处理中使用的模型及检测结果的一例的图。