[发明专利]基于带权重的原型分析技术的多视频摘要方法

权利要求书

1.一种基于带权重的原型分析技术的多视频摘要方法，其特征是，首先利用带权重的图模型建模视频帧之间的关系，从而获取带权重的原型分析所需的权重矩阵；然后利用带权重的原型分析获取关键帧，生成给定长度的视频摘要；获取带权重的原型分析所需的权重矩阵具体步骤为：

构建一个带权重的简单图，给定同一事件下的l个视频，进行预处理后得到n帧候选关键帧，表示为特征向量X＝{f₁,f₂,f₃,...,f_n},f_i∈R^m，f_i表示第i个候选关键帧的m维特征向量，将候选关键帧作为顶点构建视觉相似性图G＝(X,E,W)，其中X表示顶点，E表示视频帧之间的连接边,W表示边的视觉连接权重，为了计算W，首先计算视频帧之间的余弦相似性A(f_i,f_j)，其计算公式如方程(1)：

这里sim(i,j)表示第i帧和第j张网络图像之间的余弦相似性；

构建一个带权重的图模型，将利用视频之间的相似性为跨视频的视频帧之间的连接边额外添加一个权重，为了呈现这种关系，设计权重矩阵W_v，其具体计算方式如方程(2)：

这里v(f)表示包含帧f的视频，sim(v(f_i),v(f_j))表示包含帧f_i的视频与包含帧f_j的视频之间的相似性，这里的相似性是指根据视频的文本信息获得的余弦相似性，上述所给的表达式仅仅为跨视频的帧之间的连接边增加权重，而视频内之间帧的连接边权重保持不变；

计算视频帧与所有网络图像的平均相似性，并将该相似性作为视频帧的重要性标准，其具体计算方式如公式(3)所示：

其中g_j表示第j张网络图像，sim(f_i,g_j)表示视频帧f_i与g_j的余弦相似性；

构建的带权重的图模型的边的连接权重矩阵W的计算如方程(4)所示：

W＝A⊙W_v⊙W_q (4)。

2.如权利要求1所述的基于带权重的原型分析技术的多视频摘要方法，其特征是，具体步骤如下：

1)提取视频帧和基于查询的网络图像的视觉特征和视频对应的文本特征：视频帧的视觉特征表示为X＝{f₁,f₂,f₃,...,f_n},f_i∈R^m，网络图像的视觉特征表示为{g₁,g₂,...,g_k},g_k∈R^m，g_k表示第k张网络图像的m维特征向量，视频的文本特征表示为{t₁,t₂,...,t_l},t_a∈R^d，t_a表示第a个视频的文本特征；

2)构建带权重的完全图：为了建模视频帧之间的相关关系，将视频帧看作顶点构建带权重的简单图G＝(X,E,W)，并利用公式(1)-(4)求解矩阵W；

3)利用步骤2获得的权重矩阵W作为原型分析问题的权重，并用公式构建输入矩阵

4)在给定的上执行带权重的原型分析，并利用估计算法交替获得最优解矩阵P和Q，P表示原型重构输入的系数矩阵，Q表示输入重构原型的系数矩阵；

5)根据公式计算每个原型的重要性分数S_i；

6)按降序的方式排序原型，选取重要性分数大于一定阈值ε的原型；

7)从重要性分数最大的原型开始，在其对应的Q的列中选择元素分数最大值所对应的行数所对应的视频帧，判断该帧与先前所选取的所有帧的相似性，如果相似性大于阈值，则摘要中不包括该帧；如果所有原型迭代完上述过程后，未达到摘要的长度，则进行下轮选取过程，从Q的每列中选取第二大值所对应的行数来选取关键帧；然后迭代上述过程直到满足所需摘要长度。