[发明专利]一种视频内容标记及检索方法

说明书

技术领域

本发明是有关于一种视频内容检索方法，且特别是有关于一种利用音频(audio)帮助视频(video)的检索方法。

背景技术

早在二十世纪末，科学家就预言二十一世纪将是信息的时代，特别是随着电脑技术和网络技术的发展，极大的扩展了信息的传播途径和速度。早期在图书馆中查阅大量的纸质文献的方法费时费力，将逐步被电子检索所替代，一台大型的存储服务器就可以超过一个规模庞大的图书馆的文献量。同时，随着技术的发展，信息不再仅仅包括了文字数据，更多是更为直观的音频文件、视频文件；其中视频文件也是音频文件与影像文件的结合。但是，现有技术无法将音频或视频文件中的声音转变为文字。

现有的检索方法在检索文字数据非常快捷方便，但是对于大量的音频文件和视频文件中的音频或视频文件却无能为力。例如，使用者需要在一个长达数小时的音频或视频文件中检索其中的声音片断(例如其中的一句话或几句话)，现有方法将无能为力，用户只能浪费大量时间通篇浏览整个音频或视频文件。如果用户无法得知自己所需的声音片断位于哪一个音频文件或视频文件中，面对大量的音频和视频文件，更是无从下手进行检索。由于许多检索方法在处理视频内容时需要大量的处理时间，远远超出了实际应用可以接受的水准。时间上的瓶颈使得视频内容快速检索研究进展非常缓慢。因此，关于视频内容快速检索的技术产品凤毛麟角，可以直接应用于生产生活的产品更是稀少。

当前视频内容检索技术多数是基于经典影像处理和模式识别技术而实现的，大致分为以下几类。

有技术从视频中提取出包括镜头、场景、镜头关键帧、场景关键帧、关键帧图像信息和人脸信息等，所提取的这些信息以图片形式为载体。视频内容的检索相当于视频帧的检索，本质上是图片的检索。在视频帧较少时，该技术方法可以有较好的效果。一般视频的帧数较多，特别是监控视频的数据都是以TB计，按照每秒10-20帧的频率，视频帧数将是海量级别。与文本和数值检索相比，图像检索需要较长时间，因此，在视频帧数较多时，基于视频帧处理技术的视频搜索将遭遇严重的时间瓶颈。

发明内容

本发明提供一种音频、视频内容的检索方法，其可提升视频的搜索速度。

在本发明的一实施例中一种音频、视频内容的标记方法，包括：(1)将音频文件或视频文件中的音效文件分割成声音片断；(2)将步骤(1)所得的每一声音片断进行标记，得到每一声音片断在该音效文件中对应的起始时间和结束时间。

在本发明的一实施例中，上述步骤(1)具体为：通过静音技术，将音频或视频文件中的每一句话分割为一个声音片断。

在本发明的一实施例中，上述步骤(2)之后更包含将声音片断标记于时间轴上相对应的时间点，可将视频文件跳至任意已标记时间点。

在本发明的一实施例中一种音频、视频内容的检索方法，包括：(A)将音效文件分割成声音片断；(B)将步骤(A)所得的每一声音片断进行标记，并记录所述的每一声音片断在该音效文件中对应的起始时间和结束时间；(C)生成声音、字幕与图像的对应关系表，该对应关系表中包含字幕对应的文字、图形识别特征，以及每一声音片断在该音效文件中对应的起始时间和结束时间；(D)用户使用所需的搜寻字串或语音，在步骤(C)所得的生成声音、字幕与图像的对应关系表进行检索。

在本发明的一实施例中，上述步骤(A)具体为：通过静音技术，将音频或视频文件中的每一句话分割为一个声音片断。

在本发明的一实施例中，上述步骤(B)之后更包含将声音片断标记于时间轴上相对应的时间点。

在本发明的一实施例中，上述步骤(C)具体为：生成声音、字幕与图像的对应关系表，所述的对应关系表中包括该音效文件的所有声音片断，该字幕对应得声音片断时间点、以及图像特征，以及每一声音片断在该音效文件中的起始时间和结束时间。

在本发明的一实施例中，上述步骤(D)具体为：在所得的生成声音、字幕与图像的对应关系表进行检索后，可将视频文件跳至与检索结果最相符合的已标记时间点。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1是本发明一实施例音频、视频内容的标记方法的流程图。

图2是本发明一实施例音频、视频内容的检索方法的流程图。

具体实施方式

现将详细参考本发明之较佳实施例，在附图中说明所述较佳实施例的实例。另外，凡可能之处，在图式及实施方式中使用相同标号的元件/构件/步骤代表相同或类似部分。