[发明专利]一种视频图像的运动估计方法及电子设备

说明书

本申请涉及图像处理技术领域，公开了一种视频图像的运动估计方法及电子设备，包括：从目标图像中识别出包含字幕信息的字幕块，然后根据下一帧图像的候选区域内的指定图像块与字幕块在视频帧中的像素位置不同的情况，将字幕块与指定图像块之间的位移信息作为字幕块的运动矢量。通过将字幕块与指定图像块之间的位移信息作为字幕块的运动矢量，替换掉对目标图像进行运动估计后得到的字幕块的运动矢量，进而可以提高视频图像的运动矢量估计准确率的问题。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视频图像的运动估计方法及电子设备。

背景技术

随着信息化时代的发展，网络的普及，视频图像已经成为了人们生活中不可或缺的一部分。为了辅助人们理解视频内容，减少语言等差异带来的沟通障碍，越来越多的影像内容置入了字幕，字幕通常以文本或图像的形式展现视频中对话、旁白和说明等非影像内容。随着人们网络社交的发展，内容提供商提供的视频图像中还可以展示人们对视频的评论，如弹幕。

故此，目前情况下，字幕分为固定字幕和滚动字幕。滚动字幕除了弹幕之外、在电视节目或电影结束时的滚动字幕，演员表，剧组信息，赞助商信息等等也可认为是滚动字幕。随着新兴媒体形式的出行，例如直播场景，直播间中也充斥这大量的滚动字幕。

然而，目前的大部分的运动估计方法主要针对视频中的固定字幕进行处理，对于含有滚动字幕的视频并不适用，如何提高滚动字幕的运动估计效果有待解决。

发明内容

本申请实施例提供一种视频图像的运动估计方法及电子设备，用于解决相关技术中对视频图像中滚动字幕的运动估计结果不准确的问题。

第一方面，本申请一实施例提供了一种视频图像的运动估计方法，包括：

从目标图像中识别出包含字幕信息的字幕块；

若下一帧图像的候选区域内的指定图像块与所述字幕块在视频帧中的像素位置不同，则采用所述字幕块与所述指定图像块之间的位移信息作为所述字幕块的运动矢量；

其中，所述候选区域为以所述字幕块在视频帧中的像素位置为基准的指定邻域区域；所述指定图像块为所述候选区域内与所述字幕块的特征相似度最高的图像块、且所述指定图像块与所述字幕块的特征相似度高于预设阈值。

在一些可能的实施例中，所述从目标图像中识别出包含字幕信息的字幕块，包括：

对所述目标图像进行划分，并对划分得到的任一待处理图像块进行以下处理：

确定所述待处理图像块与所述待处理图像块的候选区域中的每个候选图像块之间的特征相似度，并将筛选出特征相似度最大值对应的候选图像块确定为所述指定图像块；

确定所述待处理图像块与筛选出的所述指定图像块之间的位移信息；

若所述特征相似度最大值高于所述预设阈值，且所述待处理图像块与筛选出的所述指定图像块之间的位移信息在滚动字幕的预设运动矢量范围内，则将所述待处理图像块确定为包含字幕信息的所述字幕块。

在一些可能的实施例中，所述从目标图像中识别出包含字幕信息的字幕块，包括：

将所述目标图像输入至预先训练好的神经网络模型中，得到所述神经网络模型输出所述目标图像中的字幕信息区域；

将所述字幕信息区域内的图像块确定为包含所述字幕信息的所述字幕块。

在一些可能的实施例中，所述方法还包括：

根据所述目标图像与所述下一帧图像之间的时间间隔、以及字幕信息的预设运动速度，确定所述候选区域的尺寸。

在一些可能的实施例中，所述方法还包括：

根据滚动字幕的预设运动速度以及预设误差范围，确定所述预设运动矢量范围。