[发明专利]一种基于内容的视频片段检索及定位方法

权利要求书

1.一种基于内容的视频片段检索及定位方法，其特征在于，首先对H.264压缩视频进行部分解码提取视频的运动信息和静态信息，并生成多种特征矢量；其次通过度量特征矢量之间的距离判断视频之间的相似性，从而实现相似内容的视频检索，选取候选视频；最后提出一种基于滑动窗的定位算法，基于窗口度量特征矢量之间的距离，并进一步采用特征筛选、定位截止算法对查询视频在候选视频中进行准确有效的定位；

具体包括以下步骤：

1)视频片段分割：

分别对库视频和查询视频以4s为单位分割成相同长度的视频片段；

2)提取视频特征信息：

分别从库视频和查询视频片段的H.264压缩码流中提取视频的运动信息和静态信息；

运动信息为提取P帧中每个4×4子块的运动矢量MV：v_i＝(d_x,d_y)，其中v_i表示第i个子块的运动矢量，d_x和d_y分别表示当前块与参考帧中最佳匹配块之间的水平像素位移和垂直像素位移；

静态信息为提取I帧中每个4×4子块的预测模式及其对应的DCT系数；

3)构造特征矢量：

分别对库视频和查询视频片段中提取的运动信息和静态信息进行处理，构造出六种特征矢量，并存放在特征库中，其中基于运动信息构造出四种特征矢量：运动强度直方图、运动方向直方图、运动活动性直方图和场景变换直方图；基于静态信息构造出两种特征矢量：DC能量直方图和预测模式直方图；

4)度量库视频和查询视频片段特征矢量间的距离，根据视频之间的相似性选取候选视频：

先分别计算库视频和查询视频片段每种特征矢量之间的距离，公式如下：

其中Q_i为查询视频第i个片段的特征矢量，D_n,j为视频库中第n个视频的第j个片段的特征矢量，K表示特征矢量的维数，距离的值越接近0，表明两个特征的相似度越高；

再对需比较的两个视频片段的六种特征矢量间的距离值求平均，得到D(Q_i,D_n,j)，设置阈值θ，当D(Q_i,D_n,j)≤θ，则认为是相似的视频片段，该片段所在的长视频D_n作为候选视频；

5)对候选视频采用基于滑动窗的方法，分段度量特征矢量间的距离：

以查询视频长度为窗口长度，调节滑动步长step，按照步骤3)中的方法提取查询视频和候选视频各窗口的特征矢量,利用步骤4)中的距离公式，对查询视频在候选视频上滑动进行分段匹配，计算得到查询视频和候选视频各窗口间的特征矢量距离值d_i,k，其中i对应六种不同的特征矢量，k表示候选视频第k个窗口；

6)特征筛选：

根据步骤5)中生成的距离值d_i,k，采用特征阈值法和投票权值法对特征矢量进行有效筛选；

A.特征阈值法：

计算每种特征矢量距离在所有窗口间的离差，公式如下：

其中i对应六种不同的特征矢量，K表示总的窗口数，是第i种特征矢量距离在所有窗口间的均值，

设置阈值T1，滤除离差值小于T1的特征；

B.投票权值法：

对特征阈值法筛选留下的特征矢量采用基于投票的思想对其进一步筛选：首先对于每种特征矢量距离值d_i,k，找出其最小距离值所在的窗口k；然后对各个特征的最小距离值所在窗口k进行投票，找出投票最多的窗口；对最小距离值落在最多窗口的特征予以保留，而其他特征予以剔除；最终计算得到查询视频与候选视频第k个窗口间的距离值d_k，公式如下：

其中N表示特征阈值法筛选后剩余的特征矢量数，w_i表示第i种特征矢量的权值，保留的特征其权值是1.0，剔除的特征其权值是0.0；

7)定位截止算法：

利用距离值d_k与定位阈值T_max和T_min之间的关系，按照定位算法进行有效地截止，如需调节滑动步长，则重复步骤5)—7)，最终输出查询视频在候选视频中的对应片段，滑动步长step的初始值设为step＝int(窗口长度/2)×码率，int为取整函数。