[发明专利]视频标识符提取设备

说明书

技术领域

本发明涉及用于检索视频的视频签名提取设备、视频签名提取方法和视频签名提取程序，其能够在多个运动图像之中检测相似或相同的运动图像段。

背景技术

在非专利文献1中描述了用于提取和匹配运动图像特征的示例性设备。图14是示出在非专利文献1中描述的设备的框图。

块单元特征提取单元1000从待输入的第一视频提取块单元中的特征，并且向匹配单元1030输出第一特征。另一块单元特征提取单元1010从待输入的第二视频提取块单元中的特征，并且向匹配单元1030输出第二特征。加权系数计算单元1020基于待输入的学习视频计算每个块的加权值，并且向匹配单元1030输出加权系数。匹配单元1030使用从加权系数计算单元1020输出的加权系数来比较从块单元特征提取单元1000输出的第一特征和从块单元特征提取单元1010输出的第二特征，并且输出匹配结果。

接下来，将描述图14中示出的设备的操作。

块单元特征提取单元1000将输入第一视频的每个帧分成块，并且计算用于标识来自每个块的视频的特征。具体而言，块单元特征提取单元1000针对每个块确定边缘的类型，并且计算该类型作为每个块的特征。继而，针对每个帧，块单元特征提取单元1000形成由相应块的边缘类型配置成的特征向量。继而，块单元特征提取单元1000计算每个帧的特征向量，并且向匹配单元1030输出所获得的特征作为第一特征。

块单元特征提取单元1010的操作类似于块单元特征提取单元1000的操作。块单元特征提取单元1010计算来自输入第二视频的第二特征，并且向匹配单元1030输出所获得的第二特征。

另一方面，加权系数计算单元1020使用学习视频来计算在帧的每个块中预先插入有字幕的概率。继而，基于所计算的概率，加权系数计算单元1020计算每个块的加权系数。具体而言，如此计算加权系数：使得在字幕被叠加的概率低时加权变高，以便提高针对字幕叠加的鲁棒性。向匹配单元1030输出所获得的加权系数。

匹配单元1030使用从加权系数计算单元1020输出的加权系数来比较从块单元特征提取单元1000输出的第一特征和从块单元特征提取单元1010输出的第二特征。具体而言，匹配单元1030比较在这两个帧中相同位置处的块的特征，并且计算块单元的得分，从而使得如果它们相同则得分为1，而如果它们不相同则得分为0。匹配单元1030通过使用加权系数对所获得的块单元的得分进行加权来对它们求和，并且计算该帧的匹配得分(帧单元的相似性)。匹配单元1030在相应的帧上执行这些过程，从而获得第一视频和第二视频之间的匹配结果。

通过这些过程，可以执行运动图像的匹配，同时降低影响可能较大的部分中字幕叠加的影响，并且在即便有字幕叠加的情况下实现高匹配准确度。

专利文献1描述了用于使用图像的特征来检索运动图像的设备，这些特征诸如块单元中的平均值或者在前一帧和下一帧之间获得的DCT系数和运动向量信息。在专利文献1的运动图像检索设备中，首先，针对每个帧从输入图像提取物理运动图像特征信息值中的至少一个值，所述物理运动图像特征信息值包括亮度、色差信息和每个帧的颜色信息、它们的平均值、值的总和或者它们的差值。继而，在时间轴上对所提取的值进行校准，并且提取校准中的所有值或者以特定间隔或不规则间隔从校准中提取的值作为运动图像特征信息。备选地，还可能从压缩的运动图像数据提取帧的DCT系数和运动补偿信息，并且获得DCT系数的平均值、它们的总和值、或多个值的差值，以及从运动补偿信息获得以下中的至少一个：运动向量、前一帧和后一帧之间的平均运动向量、总和运动向量、差异向量、作为整体的帧的运动向量等。继而，在时间轴上对所获得的值进行校准，并且提取校准中的所有值或者以特定间隔或不规则间隔从校准中提取的值作为运动图像特征信息。

现有技术文献

专利文献

专利文献1：日本待审专利公开No.2000-194727

非专利文献

非专利文献1：Kota Iwamoto，Eiji Kasutani，Akio Yamada，“Image Signature Robust to Caption Superimposition for Video Sequence Identification”，Proceedings of International Conference on Image Processing(ICIP2006)，2006年