[发明专利]视频关键点实时处理方法、装置及计算设备

说明书

本发明公开了一种视频关键点实时处理方法、装置、计算设备及计算机存储介质。其中方法根据关键点的移动速度，选取相应的模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，有效地改善了视频展示效果。

技术领域

本发明涉及图像处理技术领域，具体涉及一种视频关键点实时处理方法、装置、计算设备及计算机存储介质。

背景技术

随着科技的发展，图像采集设备的技术也日益提高。使用图像采集设备录制的视频也更加清晰、分辨率、显示效果也大幅提高。为了便于为特定对象添加萌颜特效等，需要预测视频帧图像中的关键点的坐标信息，但由于环境光线的变化和预测算法的不稳定性，往往导致预测出来的关键点在连续的视频帧中发生不规律的抖动，这样，就会使得萌颜特效所添加的位置不合适，例如，本应该添加至眉毛处的特效却添加至两眉之间，用户体验差。

因此，需要一种视频关键点实时处理方法，以修正视频帧图像中关键点的坐标信息。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频关键点实时处理方法、装置、计算设备及计算机存储介质。

根据本发明的一个方面，提供了一种视频关键点实时处理方法，其包括：

实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1；

将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；

根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理；

利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理；

显示处理后的第t帧图像。

可选地，根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：

判断关键点的移动速度是否大于预设阈值，若是，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；否则，选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。

可选地，选取静态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：

获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；

针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；

根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。

可选地，选取动态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：

根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；

计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；