[发明专利]基于视觉注意力模型的广告标志插入和变换方法及系统

权利要求书

1.一种基于视觉注意力模型的广告标志自动插入和变换方法，其特征包括以下步骤：

步骤1根据用户的视觉注意力模型，预测用户对视频每帧不同区域的感兴趣程度以及对各帧的关注程度；

步骤2根据对各帧的关注程度曲线，确定广告标志插入的时间点；

步骤3对可以插入广告标志的帧，根据预测出的对每帧各区域的感兴趣程度，选择允许广告标志插入的候选区域序列；

步骤4根据用户的视觉注意力模型，对广告标志进行变换以确保其为最显著区域，并将变换后的广告标志叠加到视频帧上；其中，

所述步骤1中所述视觉注意力模型的构建包括：

11)短时注意力预测，通过预测视频帧中多种特征的显著性分布，来预测每一视频帧中各区域的短时注意力；

12)长时注意力预测，通过计算视觉注意所包含各区域的熟悉程度，来预测每一视频帧中各区域的长时注意力；

13)总体注意力融合，根据每帧的长时注意力对每帧的短时注意力结果进行修正，并预测各区域的总体注意力；

14)注意力曲线生成，根据每帧各区域的注意力分布情况，预测用户对每帧可能的关注程度。

2.如权利要求1所述的基于视觉注意力模型的广告标志自动插入和变换方法，其特征在于：

所述短时注意力预测是对每一视频帧使用其前、后帧作参考，提取其中各区域的运动显著性、帧间颜色变化显著性以及单帧颜色显著性，进而通过线性加权预测出用户对每帧各区域的短时注意力；

所述长时注意力预测是对每一视频帧使用其之前若干帧所有物体的颜色信息和运动信息，学习出常见的颜色模式和运动模式，并依此计算对当前帧各物体的颜色熟悉程度和运动熟悉程度，进而预测出用户对每帧各区域的长时注意力；

所述总体注意力融合是通过使用各区域的长时注意力作为权重，对短时注意力进行加权相乘所得；

所述注意力曲线生成中，各帧的可能关注程度是将各帧中所有物体的总体注意力相加所得。 

3.如权利要求1所述的基于视觉注意力模型的广告标志自动插入和变换方法，其特征在于：

所述步骤2中的所述广告标志插入的时间点具体通过下述方法得到：根据预定义的广告宣传效果要求来计算关注度阈值，然后选取所有所受关注程度小于此阈值的帧来作为广告标志插入的候选时间点；

所述步骤3中的所述广告标志插入的候选区域序列生成进一步通过下述方法得到：通过关键帧中各区域的面积、位置以及预测出的对各区域的注意力分布来计算出各区域插入广告标志的合适程度，进而对各区域根据其插入广告标志合适程度进行排序，从而得到可供广告标志插入的候选区域序列。

4.如权利要求1所述的基于视觉注意力模型的广告标志自动插入和变换方法，其特征在于：所述步骤4具体包括以下几个步骤：

41)自动广告标志变化：对关键帧，尝试通过运动变化或/和颜色变化使得广告标志成为最显著区域或其显著性达到最大；

42)对关键帧叠加广告标志后，计算包括广告标志在内各物体的总体显著性，如果广告标志不是最显著区域，则尝试在其他候选区域内插入广告标志：

43)对非关键帧，由其最近邻的两个关键帧上的相应广告标志各种属性进行插值，进而插入广告标志。

5.如权利要求4所述的基于视觉注意力模型的广告标志自动插入和变换方法，其特征在于：所述的运动变化是指在关键帧中选择广告标志的运动方向和强度，并尝试由区域面积决定的所有可行尺度，直至广告标志为运动显著性图中的最显著区域，或使广告标志运动的显著性达到最大；所述的颜色变化是指在关键帧中尝试多种可能的颜色，直至广告标志同时为单帧颜色显著图和帧间颜色变化图内的最显著区域，或使广告标志的单帧颜色显著性与帧间颜色变化显著性之和达到最大。

6.如权利要求5所述的基于视觉注意力模型的广告标志自动插入和变换方法，其特征在于：所述广告标志的运动方向和强度是通过求取所有象素的运动方向显著性直方图，并选择最显著的方向和最大可行强度来实现的，所述广告标志尺度变化是通过尝试由当前候选区域的尺寸决定的所有可行尺度来实现的；所述广告标志颜色变化是通过保持广告标志各部分的相对亮度、色调、饱合度不变，而对亮度、色调、饱合度分别进行整体偏移得到的。