[发明专利]内容检索的装置和方法及程序

说明书

技术领域

本发明涉及内容检索的装置和方法以及程序，具体而言涉及可用来通过显示对于多个图像中的每一个的检索结果来容易地认识到运动图像的内容细节的内容检索的装置和方法以及程序。

背景技术

近来，已提出了分析并检索视频(运动图像)内容的技术。为了显示这种分析结果和检索结果，除了按原样显示数值和图像以外，还设计了例如使得内容被显示在时间线上的视觉上可认识的显示方法。

也就是说，为了确认运动图像的内容的所有细节，由于必须要再现内容，所以需要特定的再现时间。最好不花这样的时间也能容易地认识到内容的细节。

在现有技术中，已知显示诸如音频信号和像素的亮度值的变化之类的波形图像作为时间线显示的示例。

另外，已提出了显示构成内容的每个场景的第一帧的图像和最末帧的图像的方法以及使得能够在多画面上查看图像摘要场景的技术(例如参见专利文献1)。

另外，已提出了在记录通常图像的同时记录从通常运动图像二次采样到的索引用运动图像，并且例如当任何索引显示图像被用户选择时对于所选择的运动图像执行索引用运动图像的再现(例如，参见专利文献2)。

引文列表

专利文献

专利文献1：7-67073号日本专利申请早期公布

专利文献2：2001-238154号日本专利申请早期公布

发明内容

本发明要解决的问题

然而，在现有技术中，有这样的问题，即用户不能容易地找到包括期望图像的场景或者用户期望的特性场景。

例如，即使能够以个体图像作为要检索的图像执行内容的检索，也不可能执行对顺次显示多个图像的部分的检索、对内容中显示期望图像的时间比率与显示另外图像的时间比率的比较，等等。

另外，例如，在显示每个场景的第一帧之类的图像的方法中，在时间上较长的内容的情况下显示变得复杂。从而，由于这样的显示，内容细节不太可能变得容易认识。

另外，在将索引图像显示在多画面上的方法或者再现索引运动图像的方法的情况下，难以认识到在视频内容的哪个部分(时间位置)存在哪种图像。

为了解决上述情形，本发明被设计为通过显示分别对于多个图像的检索结果来促进对运动图像的内容细节的认识。

解决问题的方案

本发明的一个方面是一种内容检索装置，包括：检索图像输入装置，该检索图像输入装置接收作为静止图像的多个检索图像的输入；图像特征量提取装置，该图像特征量提取装置利用预定方法提取多个检索图像中的每一个的图像特征量；相似度计算装置，该相似度计算装置针对运动图像的内容来计算预先从构成该内容的帧的静止图像中提取的图像特征量与每个检索图像的图像特征量之间的相似度；确定装置，该确定装置通过将计算出的相似度与预定阈值相比较来确定与每个检索图像相似的静止图像的帧；以及时间线显示装置，该时间线显示装置基于所确定的帧和预先从内容中提取的元数据，来生成显示数据，该显示数据用于通过将内容连同指示与每个检索图像相似的静止图像的帧的时间位置的信息显示在时间轴上来执行时间线显示。

时间线显示装置可生成用于显示如下画面的显示数据，所述画面具有显示多个检索图像的列表的检索图像显示单元和在时间线上显示内容的时间线显示单元，多个检索图像可在分别被相互不同颜色的显示框围绕的同时被显示在检索图像显示单元处，并且指示与每个检索图像相似的静止图像的帧的时间位置的信息可作为具有与显示框的颜色相同的颜色的颜色条被显示在时间线显示单元处。

时间线显示装置可利用时间线显示来在单个画面上的时间线显示单元处显示多个内容中的每一个，并且对于多个内容中的每一个指示与每个检索图像相似的静止图像的帧的时间位置的信息可被显示为具有与显示框的颜色相同的颜色的颜色条。

时间线显示装置可生成用于显示如下画面的显示数据，该画面还具有在利用时间线显示来显示的内容的再现被指令的情况下显示通过再现内容而获得的运动图像的运动图像显示单元。

时间线显示装置可基于元数据中包括的内容的场景变化点的信息来确定构成内容的场景，并且以画面的水平或垂直方向为时间轴、以指示各个场景的图形在与场景的时间长度相关联的同时被显示的方式来将内容显示在时间线上。

时间线显示装置可在指示场景的图形被分别以利用预定方法确定的场景的代表色来显示的同时，来将内容显示在时间线上。