[发明专利]图像处理方法、装置及电子设备

说明书

本申请公开一种图像处理方法、装置、电子设备以及存储介质，通过获取包括人手姿势的视频帧样本图像，获取与视频帧样本图像对应的对偶样本图像，将视频帧样本图像以及对偶样本图像分别输入预设手势跟踪模型，输出得到与视频帧样本图像对应的第一跟踪位置坐标以及与对偶样本图像对应的第二跟踪位置坐标，对第一跟踪位置坐标进行仿射变换，得到与视频帧样本图像对应的第三跟踪位置坐标，基于第二跟踪位置坐标以及第三跟踪位置坐标获取目标损失函数，将目标损失函数收敛时的预设手势跟踪模型作为目标手势跟踪模型。本方法提升了目标手势跟踪模型对人手姿势的跟踪位置进行预测的准确性。

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置、电子设备以及存储介质。

背景技术

短视频即短片视频，是一种互联网内容传播方式，一般是在互联网新媒体上传播的时长在5分钟以内的视频；随着移动终端普及和网络的提速，短平快的大流量传播内容逐渐获得各大平台、粉丝和资本的青睐。为了提升短视频的趣味性，可以在短视频拍摄的过程中添加特效，例如通过手势控制的特效。作为一种方式，为了确保用户可以通过手势准确操控特效，在拍摄的过程中需要对用户的手势及其变化进行跟踪。然而，用户的手势可能会发生抖动，使得跟踪得到的跟踪框位置缺乏时序上的稳定性，从而影响特效的效果。

发明内容

鉴于上述问题，本申请提出了一种图像处理方法、装置、电子设备及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种图像处理方法，应用于电子设备，该方法包括：获取包括人手姿势的视频帧样本图像；获取与所述视频帧样本图像对应的对偶样本图像；将所述视频帧样本图像以及所述对偶样本图像分别输入预设手势跟踪模型，获取所述预设手势跟踪模型输出的与所述视频帧样本图像对应的第一跟踪位置坐标以及与所述对偶样本图像对应的第二跟踪位置坐标；对所述第一跟踪位置坐标进行仿射变换，得到与所述视频帧样本图像对应的第三跟踪位置坐标；基于所述第二跟踪位置坐标以及所述第三跟踪位置坐标获取目标损失函数；将所述目标损失函数收敛时的所述预设手势跟踪模型作为目标手势跟踪模型。

第二方面，本申请实施例提供了一种图像处理方法，应用于电子设备，该方法包括：基于目标人手跟踪区域确定待处理视频数据的手势图像区域；获取所述手势图像区域对应的感知哈希数值；将所述感知哈希数值和与所述目标人手跟踪区域对应的目标感知哈希数值进行比较，以获取所述待处理视频数据和与所述目标人手跟踪区域对应的视频数据的内容相似度；若所述内容相似度小于预设阈值，基于如上述第一方面所述的目标手势跟踪模型获取与所述待处理视频数据对应的手势跟踪位置。

第三方面，本申请实施例提供了一种图像处理装置，运行于电子设备，该装置包括：第一获取模块，用于获取包括人手姿势的视频帧样本图像；第二获取模块，用于获取与所述视频帧样本图像对应的对偶样本图像；预测模块，用于将所述视频帧样本图像以及所述对偶样本图像分别输入预设手势跟踪模型，输出得到与所述视频帧样本图像对应的第一跟踪位置坐标以及与所述对偶样本图像对应的第二跟踪位置坐标；第三获取模块，用于对所述第一跟踪位置坐标进行仿射变换，得到与所述视频帧样本图像对应的第三跟踪位置坐标；第四获取模块，用于基于所述第二跟踪位置坐标以及所述第三跟踪位置坐标获取目标损失函数；处理模块，用于将所述目标损失函数收敛时的所述预设手势跟踪模型作为目标手势跟踪模型。

第四方面，本申请实施例提供了一种图像处理装置，运行于电子设备，该装置包括：确定单元，用于基于目标人手跟踪区域确定待处理视频数据的手势图像区域；获取单元，用于获取所述手势图像区域对应的感知哈希数值；比较单元，用于将所述感知哈希数值和与所述目标人手跟踪区域对应的目标感知哈希数值进行比较，以获取所述待处理视频数据和与所述目标人手跟踪区域对应的视频数据的内容相似度；处理单元，用于若所述内容相似度小于预设阈值，基于上述第一方面所述的方法中所述的目标手势跟踪模型获取与所述待处理视频数据对应的手势跟踪位置。