[发明专利]基于一致性片段生成的无监督视频摘要方法

权利要求书

1.一种基于一致性片段生成的无监督视频摘要方法，其特征在于，包括以下步骤：

步骤1，以预设的长度将原始视频均匀地分割为多个相同长度的片段；

步骤2，计算每个片段和相邻的下一个片段之间的片段静态相似度分数和片段动作相似度分数，并确定对应的两个自适应阈值，判断每个片段是否满足合并条件，对于满足合并条件的片段，合并其与相邻的下一个片段，重复这个过程直到没有满足合并条件的片段；所述合并条件为片段的两个相似度分数同时超过各自阈值；

片段静态相似度分数计算如下：

其中，是两个相邻片段C₁和C₂中间帧和的图像相似度分数，计算如下：

S_I(A,B)＝α·S₁(A,B)+β·S₂(A,B)

其中，α和β是权重系数，相加为1；S₁为图像轮廓相似度，S₂为图像颜色分布相似度，图像轮廓相似度S₁通过使用大津法确定阈值，将两幅原始图像A、B首先转换为二值图像A_r和B_r，二值图像之间的差异间接反映了图像轮廓相似度：

其中，m和n分别是原始图像的宽和高，k＝m*n；

采用直方图匹配的思想计算图像颜色相似度S₂，基于原始图像归一化直方图的巴氏距离，计算如下：

其中，H_A和H_B是原始图像归一化的直方图；

以片段的中间帧作为中心，向前向后各取相同数量的帧，对这个更短的片段使用KLT追踪算法提取光流，基于相邻片段的光流的差异，估计片段动作相似度分数为：

步骤3，用爬山算法分别优化静态一致性函数和动作一致性函数，调整所有片段的边界；

使用爬山算法优化静态一致性函数Fs(C_j)：

其中，|C_j|表示片段C_j的长度，P_i(|C_j|)是片段C_j长度的概率，和分别是片段起始帧和结束帧的局部静态相似度分数；一个帧的局部静态相似度分数定义如下：

即该帧与离它最近的μ个帧的平均图像相似度；

使用爬山算法优化动作一致性函数Fm(C_j)：

其中，和分别是片段起始帧和结束帧的局部动作相似度分数；一个帧的局部动作相似度分数是使用KLT追踪算法估计出的动作大小的倒数；

步骤4，计算每个片段内所有帧的兴趣度分数，以此估计每个片段的重要性，基于重要性和时长要求，得到最终的视频摘要结果。

2.根据权利要求1所述的基于一致性片段生成的无监督视频摘要方法，其特征在于，步骤2中，通过所有片段的静态相似度分数和动作相似度分数，计算两个自适应阈值：

δ₁＝max(∈₁·mean(S_{C_static}),t₁)

δ₂＝max(∈₂·mean(S_{C_motion}),t₂)

其中，∈₁和∈₂是参数，取值范围为0～1，mean(S_{C_static})表示所有片段静态相似度分数的平均值，mean(S_{C_motion})表示所有片段动作相似度分数的平均值，t₁和t₂是两个阈值的下限；

只有当片段静态相似度分数超过阈值δ₁，同时片段动作相似度分数超过阈值δ₂时，才能合并片段。