[发明专利]一种情感激励下的视频关键帧自适应提取方法

权利要求书

1.一种情感激励下的视频关键帧自适应提取方法，其特征在于：包括如下步骤，

步骤S1：从视频镜头中提取出所有视频帧并计算每个视频帧的视觉情感激励度                                                ；

步骤S2：计算与步骤S1中每个视频帧同步的音频数据的听觉情感激励度；

步骤S3：通过线性加权的方式将视觉情感激励度与听觉情感激励度融合，二者权重相等，得出每个视频帧的视频情感激励度，最后根据各镜头的视频情感激励情况自适应地计算出镜头的视频关键帧数目KN；

步骤S4：根据镜头内所有视频帧的视频情感激励度得到镜头的视频情感激励度曲线，在镜头的视频情感激励度曲线中选取视频情感激励度最高的前KN个波峰所对应的视频帧作为镜头的视频关键帧。

2.根据权利要求1所述的一种情感激励下的视频关键帧自适应提取方法，其特征在于：所述步骤S1所述视频帧的视觉情感激励度的提取，是根据视频帧的运动强度按照以下方案实现：

步骤S11：用横向R-1、纵向C-1条平行线把每个视频帧分成R·C个子块，其中，R、C为自然数，且R>1，C>1；

步骤S12：计算当前视频帧与相邻的前一帧在对应像素点的像素差绝对值，根据像素差值绝对值计算当前帧在该像素点的运动强度；用表示像素点(i,j)的运动强度，若像素差值绝对值大于阈值，则认为该像素点发生运动，将置为1，反之为0；

步骤S13：根据所述子块内发生运动的像素比例来计算子块的运动强度；用表示当前帧在第i个子块的运动强度，子块内发生运动的像素点比例超过阈值就认为该子块发生运动，将该子块的运动强度置为1，反之为0；

步骤S14：根据当前视频帧发生运动的子块数占所有子块数的比例来计算视频帧的运动强度，即视觉情感激励度。

3.根据权利要求1所述的一种情感激励下的视频关键帧自适应提取方法，其特征在于：所述步骤S2所述视频帧的同步音频数据的听觉情感激励度的提取，是根据音频帧的短时平均能量和音调按照以下方案计算得到：

步骤S21：将所述视频帧的同步音频数据进行音频分帧处理，音频帧之间有50%重叠，得到AN个音频帧；

步骤S22：计算每个音频帧的短时能量Energy，取AN个音频帧的平均短时能量作为所述视频帧所对应的声音能量情感激励度；

步骤S23：计算每个音频帧的音调Pitch，取AN个音频帧的平均音调作为所述视频帧所对应的音调情感激励度；

步骤S24：所述视频帧的同步音频数据的听觉情感激励度由以及相加得到，即。

4.根据权利要求1所述的一种情感激励下的视频关键帧自适应提取方法，其特征在于：所述步骤S3所述的镜头视频关键帧数目KN的自适应计算方法按照以下方案实现：

步骤S31：通过线性加权的方式将视觉情感激励度与听觉情感激励度融合，二者权重相等，得出镜头中每个视频帧的视频情感激励度；

步骤S32：计算当前镜头S_k的相邻两帧的视频情感激励度差异累加和均值，，其中，F(i)是第i视频帧的视频情感激励度，N是镜头S_k内视频帧的总数；

步骤S33：计算当前镜头S_k应分配到的视频关键帧数目KN_k：，其中，KN_k表示分配给镜头S_k的视频关键帧数目，Sum表示预设的视频关键帧总数，M表示视频序列的镜头数，是镜头S_k的的相邻两帧的视频情感激励度差异累加和均值，max()是求最大值操作；每个镜头至少有一帧视频关键帧，此时镜头的视频关键帧就是镜头视频情感激励度曲线最大值处所对应的视频帧。

5.根据权利要4所述的一种情感激励下的视频关键帧自适应提取方法，其特征在于：所述步骤S33所述预设的视频关键帧总数Sum由以下方案确定：赋予Sum初始值为视频文件镜头总数的3倍，并且允许用户通过交互的方式设定新值，所设定的新值不能低于视频文件的镜头数；若用户没有设定新值，则Sum值为默认的初始值；反之，Sum值为用户设定的合法值。