[发明专利]包含运动目标的图像处理方法、装置及电子设备

说明书

本发明实施例公开了一种包含运动目标的图像处理方法、装置及电子设备，涉及图像处理技术领域。该方法包括：利用与包含运用目标的当前图像对应的深度信息，提取所述当前图像的前景特征点与背景特征点；基于所述当前图像的惯性数据及所述背景特征点，确定背景运动矢量；获取与所述当前图像的当前图像金字塔以及与所述当前图像关联的历史帧图像金字塔，基于所述当前图像金字塔、历史帧图像金字塔以及所述前景特征点，确定前景运动矢量；基于所述背景运动矢量及所述前景运动矢量，计算当前图像中运动目标的运动信息，形成与当前图像关联的目标图像。通过上述方案，能够节省系统资源，提高图像的处理效率。

技术领域

本发明涉及图像处理技术领域，尤其涉及包含运动目标的图像处理技术。

背景技术

游戏渲染时需要进行大量的三维模型建模、光栅化、贴图、渲染光影效果等，其渲染复杂度很高，因此往往造成帧率的瓶颈。

现有技术主要针对完整视频序列，离线计算非关键帧运动矢量，实现帧间插补。此类方法实时性差，算法复杂，并未针对移动平台做出相应优化。此外，现有技术主要利用色彩信息对图像进行分析，并未融合深度数据减少冗余计算，提高效率；同时也并未融合深度数据，对不同深度采用多尺度的图像处理方法。最后，现有技术主要关注于颜色空间中光流计算的准确性、快速性，并未提出深度数据的融合方法，以及图像插补中的应用。在颜色空间中大量的重复纹理、违反光流假设的情况会对运动预测造成极大的影响。现有技术中主要针对完整视频数据的离线渲染，或者单目视频数据的在线预测，并未涉及多目、多维信息的融合。

针对上述问题，亟需一种全新的包含运动目标的图像处理技术。

发明内容

有鉴于此，本发明实施例提供一种包含运动目标的图像处理方法、装置、电子设备、非暂态计算机可读存储介质及计算机程序，至少部分的解决现有技术中存在的问题。

第一方面，本发明实施例提供了一种包含运动目标的图像处理方法，包括：

利用与包含运用目标的当前图像对应的深度信息，提取所述当前图像的前景特征点与背景特征点；

基于所述当前图像的惯性数据及所述背景特征点，确定背景运动矢量；

获取与所述当前图像的当前图像金字塔以及与所述当前图像关联的历史帧图像金字塔，基于所述当前图像金字塔、历史帧图像金字塔以及所述前景特征点，确定前景运动矢量；

基于所述背景运动矢量及所述前景运动矢量，计算当前图像中运动目标的运动信息，形成与当前图像关联的目标图像。

根据本发明实施例的一种具体实现方式，所述利用与包含运用目标的当前图像对应的深度信息，提取所述当前图像的前景特征点与背景特征点，包括：

对所述当前图像进行快速角点检测，形成快速角点；

获取所述快速角点的深度值，基于所述深度值，将所述快速角点划分为前景角点或背景特征点。

根据本发明实施例的一种具体实现方式，所述利用与包含运用目标的当前图像对应的深度信息，提取所述当前图像的前景特征点与背景特征点，还包括：

对所述前景角点进行强角点检测，将通过强角点检测的前景角点作为前景特征点。

根据本发明实施例的一种具体实现方式，所述基于所述当前图像的惯性数据及所述背景特征点，确定背景运动矢量，包括：

利用所述惯性数据，计算所述当前图像的运动四元数；

获取背景特征点的平面坐标(x，y)以及所述背景特征点深度图像中搜索对应的深度z，得到所述背景特征点的空间坐标(x，y，z)；