[发明专利]视频融合方法、系统、设备及介质

权利要求书

1.一种视频融合方法，其特征在于，包括以下步骤：

获取待融合的图像与视频；

分割所述视频得到多个视频帧；

基于待融合的图像与多个所述视频帧构建图像集；

利用所述图像的像素分布、色彩空间、对比关系和直方图提取所述图像集内图像的场景特征，利用K-means聚类算法处理所述图像集，得到各个图像基于场景特征的聚类结果，根据待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内；

其中，利用多尺度滤波依次从图像的像素分布、色彩空间、对比关系提取像素分布特征图、色彩空间特征图、对比关系特征图；利用视觉注意模型融合像素分布特征图、色彩空间特征图、对比关系特征图得到显著图，利用区域生长算法对得到显著图进行视觉显著区分割得到矩形区域，利用分块梯度直方图来组合所述矩形区域生成特征区域描述子，采用支持向量机对所述特征区域描述子进行分类，根据显著区域匹配到场景分类结果，从而提取到所述图像集内图像的场景特征。

2.根据权利要求1所述的视频融合方法，其特征在于，所述聚类处理所述图像集生成聚类结果的步骤之前，还包括：预处理所述图像集内待融合的图像与视频帧，得到预处理后的所述图像集。

3.根据权利要求1或2所述的视频融合方法，其特征在于，所述待融合的图像至少为单帧图像、多帧图像和视频流中的一种。

4.根据权利要求3所述的视频融合方法，其特征在于，当所述待融合的图像为视频流时，分割所述视频流得到多个待融合的视频帧。

5.根据权利要求1所述的视频融合方法，其特征在于，利用深度学习方式训练图像语义得到相应模型，利用该模型提取所述图像集内图像的场景特征。

6.根据权利要求1所述的视频融合方法，其特征在于，所述根据待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内的步骤，包括：

根据聚类结果得到待融合的图像在所述图像集内所归属的簇，在所述簇内随机选择某个时刻，将待融合的图像插入所述时刻对应的视频内实现视频融合。

7.一种视频融合系统，其特征在于，包括：

获取模块，用于获取待融合的图像与视频；

分割模块，用于分割所述视频得到多个视频帧；

图像集构建模块，基于待融合的图像与多个所述视频帧构建图像集；

聚类融合模块，用于聚类处理所述图像集生成聚类结果，根据待融合的所述图像在所述聚类结果内归属的簇融合所述图像到所述视频内；其中，所述聚类融合模块包括：

提取单元，利用所述图像的像素分布、色彩空间、对比关系和直方图提取所述图像集内图像的场景特征；其中，利用多尺度滤波依次从图像的像素分布、色彩空间、对比关系提取像素分布特征图、色彩空间特征图、对比关系特征图；利用视觉注意模型融合像素分布特征图、色彩空间特征图、对比关系特征图得到显著图，利用区域生长算法对得到显著图进行视觉显著区分割得到矩形区域，利用分块梯度直方图来组合所述矩形区域生成特征区域描述子，采用支持向量机对所述特征区域描述子进行分类，根据显著区域匹配到场景分类结果，从而提取到所述图像集内图像的场景特征；

聚类单元，利用K-means聚类算法处理所述图像集，得到各个图像基于场景特征的聚类结果。

8.根据权利要求7所述的视频融合系统，其特征在于，所述聚类融合模块之前，还包括：预处理模块，用于预处理所述图像集内待融合的图像与视频帧，得到预处理后的所述图像集。

9.根据权利要求7或8所述的视频融合系统，其特征在于，所述待融合的图像至少为单帧图像、多帧图像和视频流中的一种。

10.根据权利要求9所述的视频融合系统，其特征在于，当所述待融合的图像为视频流时，分割所述视频流得到多个待融合的视频帧。