[发明专利]基于稀疏编码的多视频摘要方法

权利要求书

1.一种基于稀疏编码的多视频摘要方法，其特征是，基于稀疏编码的多视频摘要方法，利用视频的文本信息和视觉信息构建多图模型，通过图切的方法实现视频的聚类即实现视频的子主题的检测；然后，在每一子主题下利用稀疏编码的方法，将子主题下的视频帧与基于子主题的网页图片联系起来，获取关键镜头；最后通过视频上传时间对关键镜头进行排序，从而实现多视频摘要；利用稀疏编码的方法具体是，给定特定事件的视频帧集，X＝{x₁,x₂,...,x_N}表示N帧视频帧的特征集，Z＝{z₁,z₂,...,z_L}表示L帧网页图像的特征集,其中x_i∈R^d,z_i∈R^d，将候选视频帧X作为基向量组，视频帧集x_i、基于子主题关键词搜索的网页图片z_i共同作为输入向量，学习视频帧的表达分数a_i，每一帧x_i对应一个系数变量a_i,称为第i帧的表达分数，该表达分数传达了在网页图片先验信息的辅助下，每一帧在重构主体空间的贡献大小，由此构建目标函数如下，为了保证稀疏性在目标函数中加入正则化项：

s.t.a_j≥0 for j∈{1,...,m},γ0 (1)

其中系数a_j是第j帧的表达分数，并且所有的目标向量x_i共享同一个系数向量A＝{a₁,a₂,...,a_n}，为正则化项，由于加入了正则化项，获得了稀疏的表达向量；

利用坐标梯度下降算法求得稀疏向量A，具体过程如下：

首先，初始化稀疏向量A为零向量，对目标函数关于表达分数a_i求偏导，i＝1,2,...,N；然后选择使偏导数最大的表达分数a_i，并用软阈值的方法更新a_i，最后迭代上述过程直到成本函数的值变化小于一定的阈值或迭代次数达到一定的值，求出稀疏向量A.；

最后，生成给定长度的摘要，所有子主题关键镜头的提取均按照上述过程实现，假定给定第k个子主题下摘要时间长度l^k，通过以下优化问题来解决：

其中s^k是第k个子主题下镜头的数量，是第k个子主题下第i个镜头/帧的重要性分数或表达分数，是第i个镜头的时间长度，μ^k是选择向量，表示选择第i个镜头，否则不选择。