[发明专利]一种基于草图的视频摘要生成方法

权利要求书

1.一种基于草图的视频摘要生成方法，其步骤为：

1)对视频进行镜头分割，并进行镜头筛选，得到关键帧；

2)对所述关键帧进行角色分析和场景分析；并根据角色分析确定关键帧的语义重要程度；

3)计算所述关键帧的图像质量评估值，并根据所述关键帧的图像质量评估值和语义重要程度值，对所述关键帧进行筛选；

4)根据步骤3)所确定的关键帧，提取视频关键对象的轮廓，生成视频对象的草图；

5)根据摘要绘图区域大小以及每幅草图所对应视频内容的重要程度重新设定对应草图的大小；

6)利用所述场景分析结果确定草图所在位置，生成草图之间的连接线，对草图进行连接，生成视频摘要。

2.如权利要求1所述的方法，其特征在于依据镜头表现内容的重要程度进行所述镜头筛选；所述镜头表现内容的重要程度的计算公式为：W_shot＝μt_shot+W_var，其中，μ＞0，t_shot为镜头中含有的图像帧数，W_var为镜头内部各帧的灰度直方图均方差，W_shot为镜头表现内容的重要程度。

3.如权利要求1所述的方法，其特征在于根据角色分析和场景分析结果，采用AdaBoost分类器对每个镜头的关键帧进行语义标定和分类，并定义镜头之间的语义转换类型。

4.如权利要求1所述的方法，其特征在于利用从帧图像中提取到的尺度不变特征变换算法特征点个数作为所述关键帧的图像质量评估值；利用所述角色分析中的人脸检测结果确定所述关键帧的语义重要程度。

5.如权利要求4所述的方法，其特征在于对所述关键帧的图像质量评估值进行归一化，并根据归一化后的所述关键帧的图像质量评估值和所述人脸检测结果，利用公式W_frame＝Q_t+μN_face对所述关键帧进行筛选，其方法为：设定一阈值w_threshold，如果得到的W_frame大于该阈值，就设定该帧为关键帧；其中，N_face为帧图像中检测到的人脸数目，μ＞0，Q_t为归一化的关键帧的图像质量评估值。

6.如权利要求5所述的方法，其特征在于利用笔手势对所述关键帧进行进一步删减。

7.如权利要求1或2或3或4或5或6所述的方法，其特征在于在所述视频关键对象的轮廓上均匀选取若干数目的点来生成B样条曲线，然后利用该B样条曲线代替所述视频关键对象的轮廓。

8.如权利要求1所述的方法，其特征在于首先预定义视频对象的运动特征与语义草图的映射关系；然后利用光流算法捕捉、跟踪视频对象的运动特征，根据所述运动特征和所述映射关系生成视频对象的语义草图；所述语义草图为描述视频对象隐含语义信息的草图；所述运动特征包括运动的类型、方向、强度信息。