[发明专利]一种基于字幕提取的新闻视频检索方法

说明书

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于字幕提取的新闻视频检索方法。 

背景技术

视频是多媒体环境中的重要元素，它在众多不同领域中有着广泛应用。新闻视频是视频的一个重要分支，它们包含着大量的有用信息。基于内容的视频检索系统指的通过文本、图片或视频的其他特征在视频集中搜索需要的信息。要实现基于内容的视频检索，首先要将视频进行适当的分割，建立用于检索的索引之后，使用户可以通过文本等内容检索视频。基于字幕的检索就是其中一种方法。对于新闻视频，由于视频中的新闻标题对新闻故事内容进行了良好的描述，可以作为文字标签用于基于内容的新闻视频检索。

基于像素比较法视频分割：该方法是通过比较连续两帧相应像素的差值，如亮度或色度等判断镜头是否发生变化，由此进行视频分割。通常首先计算像素之差的绝对值的总和，并设定一个阈值与之比较，超过阈值时认为镜头发生了切换，进行分割。然而该方法的性能完全依赖阈值的设定，而在这种方法上单一阈值常常不能胜任所以情形，对噪声敏感，漏检和错检情况都比较多。

基于直方图的视频分割：该方法将亮度、灰度等分为多个等级，并统计一帧中在各等级中的像素数量，形成直方图，通过直方图比较来考察视频帧之间的差距。比较常见的有灰度直方图法、颜色空间直方图法等。该方法常常会与基于块的比较方法，将视频帧分为M个块，在每个块中分别进行比较。该方法对物体和摄像机的缓慢移动不敏感，仍然对镜头强烈晃动、光照快速变化等比较敏感，容易错检，而当相邻镜头颜色比例相似时，又容易漏检。

ECR视频分割：ECR（Edge Change Ratio）即边缘变化率。该方法考虑通过视频帧之间边缘的变化来判断镜头的转换进行分割。R.Zabhi等人为了减少镜头对运动物体和颜色变化的敏感性，提出了基于边缘变化的镜头分割方法，先对帧进行高斯模糊，去掉太过细小的边缘，再用Canny算子提取边缘，然后进行边缘扩大。计算后一帧中新出现的边缘                                                、前一帧中出现而未出现在后一帧的边缘，分别除以后一帧中的边缘数量和前一帧中的边缘数量获得边缘进入率和边缘消失率，二者间较大者为ECR取值。如果ECR值明显增大，则认为镜头发生了转换。对于简单的视频镜头该方法效果较好，然后对如毛发、波光粼粼的水面这样边缘复杂的不停发生微小变化的实际镜头中表现不佳。在光线较弱和轮廓不明显时，也容易漏检，加上大量的运算，大大限制了该方法的实际应用。

视频单一帧字符识别：为了将传统光学字符识别的方法应用到视频中，该方法首先在每个镜头中提取一个关键帧，然后进行图像增强等操作，最后提交给字符识别模块进行识别。然而关键帧提取的方法一般与字符出现情况没有太多关系，单一帧识别的方法一般只是选择任意一个含有字符的帧进行处理和识别。这浪费了视频流中更多有用帧中的信息，也可能产生大量和主题无关的文本，如在新闻中的滚动新闻，这往往与当前视频画面中的新闻并无太大关系，这样很可能造成错误的索引。

SQL数据库：SQL（Structured Quevy Language）即结构化查询语言，是为数据库等查询系统设计的一组操作指令，提供查、插、删、改等齐全的数据库操作，功能强大，由具体数据库系统实现并支持。当前主流数据库都支持SQL。然而各数据库提供商对SQL的实现不完全相同，执行不同的标准。而且，如果用作全文搜索，效率比较低下，需要单独的索引，不支持相似性搜索和相似度排序等。

发明内容

本发明所要解决的问题是：如何提供一种基于字幕提取的新闻视频检索方法，该方法克服现有技术存在的缺陷，能提取出视频中的标题字幕并加以组织和管理，用于基于内容的视频检索。 

本发明所提出的技术问题是这样解决的：提供一种基于字幕提取的新闻视频检索方法，其特征在于，包括以下步骤：

步骤1 新闻镜头分割

采用时空切片的方法，提取视频的时空切片，检测镜头剪辑的位置，进行镜头分割；

步骤2 特殊镜头检测

根据对新闻视频结构信息的研究，对单个节目提取其结构支撑性镜头，在这里，我们取主持人镜头和广告镜头，训练一个或一组支持向量机，并用该支持向量机对同一节目进行特殊镜头检测，以用于结构分析；

步骤3 新闻结构化分析

根据提取出的特殊镜头，将新闻进行结构化分析，并分组标记；

步骤4 镜头帧融合

对每个镜头进行最小值帧融合，减弱动态背景内容而增强固定的文本内容，得到融合帧；