[发明专利]关键点的抖动处理方法、装置、介质及电子设备

说明书

本公开是关于一种关键点的抖动处理方法、装置、介质及电子设备，属于计算机视觉技术领域，该方法包括：从目标格式视频中，获取预定数目个连续帧；获取所述预定数目个连续帧中每个帧上同一关键点的坐标；根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。本公开通过多帧联合进行关键点抖动的检测，并进行平滑处理，有效提高了关键点抖动平滑处理的准确性。

背景技术

关键点就是视频中每一帧上例如人脸上的嘴角、眼角等特征点。关键点的抖动就是在视频帧上识别关键点，得到的关键点相对于关键点在视频帧上真实位置存在误差，进而使得识别到的关键点跟随视频帧流具有抖动现象，不平滑过渡。

目前关键点的抖动检测及处理都是基于单帧图像进行，每帧处理后的结果都是独立互不影响，在实践中这种抖动给后期数据处理带来了噪声。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种关键点的抖动处理方案，进而至少在一定程度上通过多帧联合监测关键点的抖动并进行平滑处理，有效提高关键点抖动处理的准确性。

根据本公开的一个方面，提供一种关键点的抖动处理方法，包括：

从目标格式视频中，获取预定数目个连续帧；

获取所述预定数目个连续帧中每个帧上同一关键点的坐标；

根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量；

根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值；

根据所述偏移量与所述偏移量抖动阈值，确定所述同一关键点是否发生抖动；

当确定所述同一关键点发生抖动，对所述同一关键点进行平滑处理。

在本公开的一种示例性实施例中，所述根据所述每个帧上所述同一关键点的坐标，获取所述同一关键点的偏移量，包括：

根据所述同一关键点中来源于预定数目个连续帧中相邻两个帧的同一关键点的坐标，获取多个第一偏移量。

根据所述同一关键点中来源于预定数目个连续帧中第一帧和最后一帧的两个同一关键点的坐标，获取第二偏移量。

在本公开的一种示例性实施例中，所述根据所述目标格式视频的格式，获取所述同一关键点的偏移量抖动阈值，包括：

根据所述目标格式视频的格式，获取与所述目标格式的视频的格式对应的预先训练好的机器学习模型；

将所述同一关键点的坐标的作为输入数据，输入所述机器学习模型，得到所述同一关键点的偏移量抖动阈值。

在本公开的一种示例性实施例中，所述同一关键点的偏移量抖动阈值，包括：

第一偏移量抖动阈值，所述第一偏移量抖动阈值为所述同一关键点中来源于相邻两个帧的同一关键点的偏移量抖动阈值；

第二偏移量抖动阈值，所述第二偏移量抖动阈值为所述同一关键点中来源于预定数目个连续帧中第一帧和最后一帧的两个同一关键点的偏移量抖动阈值。

在本公开的一种示例性实施例中，所述机器学习模型的训练方法是：

收集预定格式视频的存在关键点抖动的预定数目个连续帧中，每个帧上同一关键点的坐标的样本集，所述样本集中每个样本事先由专家标定关键点抖动阈值；