[发明专利]一种图像处理方法、装置、移动终端及存储介质

说明书

本发明提供了一种图像处理方法、装置、移动终端及存储介质。所述方法包括：依据移动终端的取景界面，采集用户的人脸图像序列；确定人脸图像序列中各人脸图像中的人脸关键点集；依据人脸关键点集，确定位移阈值，及相邻两帧人脸图像对应的人脸关键点集的平均位移；依据位移阈值和平均位移对学习率进行更新，得到更新学习率；依据更新学习率对各人脸图像对应的人脸关键点集进行调整。本发明可以减弱人脸静止时关键点的抖动现象，同时在人脸运动时迅速加大学习率，保证及时跟随真实点集，优化人脸关键点的抖动问题，为基于人脸关键点的贴纸、大眼、瘦脸等业务提供更稳定的效果，有助于提高短视频、拍摄、直播等场景的用户体验。

技术领域

本发明涉及移动通信技术领域，特别是涉及一种图像处理方法、装置、移动终端及存储介质。

背景技术

随着通信技术的不断发展，终端设备(如手机等)在人们生活中所占的比重越来越高。

当前大部分视频直播类和拍摄类App(Application，应用程序)中都提供了贴纸、磨皮、美白、微整形(如大眼、瘦脸)等功能。这类功能的实现依赖于通过算法从人脸图像中计算出由一组关键点集表示的脸形。人脸关键点检测一般转化为优化问题求解，故模型预测值与真实值存在一定误差。另外，由于训练集在标定时存在误差、且实际应用场景中人脸姿态可能比较特殊、光照也更复杂、图像分辨率较低、噪声等原因，关键点预测值与真实值有一定偏差，导致人脸静止时这些点也会在一定范围内抖动，影响贴纸和微整形效果。一种简单的解决方案是在时域上对点的坐标进行滤波处理。但是，在人脸处于运动的状态下，这种方法会使关键点不能及时吻合实际人脸，影响后续贴纸、磨皮、美白、微整形(如大眼、瘦脸)等功能的效果。

发明内容

本发明实施例所要解决的技术问题是提供一种图像处理方法、装置、移动终端及存储介质，以解决现有技术中在人脸处于运动的状态下，人脸关键点不能及时吻合实际人脸，影响后续贴纸、磨皮、美白、微整形(如大眼、瘦脸)等功能的效果的技术问题。

为了解决上述问题，本发明实施例提供了一种图像处理方法，包括：依据所述移动终端的取景界面，采集用户的人脸图像序列；确定所述人脸图像序列中各人脸图像中的人脸关键点集；依据所述人脸关键点集，确定位移阈值，及相邻两帧人脸图像对应的人脸关键点集的平均位移；依据所述位移阈值和所述平均位移对学习率进行更新，得到更新学习率；依据所述更新学习率对各所述人脸图像对应的人脸关键点集进行调整。

优选地，所述依据所述人脸关键点集，确定位移阈值，包括：从所述人脸图像序列中选择一目标人脸图像；依据所述目标人脸图像对应的人脸关键点集，确定用户的两个人眼中心点分别对应的左关键点和右关键点；获取所述左关键点对应的第一坐标，及所述右关键点对应的第二坐标；依据所述第一坐标和所述第二坐标，计算得到所述眼间距；依据所述眼间距和两个预设常数，计算得到所述位移阈值。

优选地，所述相邻两帧人脸图像包括第一帧人脸图像和第二帧人脸图像，依据所述人脸关键点集确定相邻两帧人脸图像对应的人脸关键点集的平均位移，包括：获取所述第一帧人脸图像对应的人脸关键点集中各关键点的第三坐标；获取所述第二帧人脸图像对应的人脸关键点集中各关键点的第四坐标；依据各所述第三坐标和各所述第四坐标，计算得到所述平均位移。

优选地，所述依据所述位移阈值和所述平均位移对学习率进行更新，得到更新学习率，包括：获取所述位移阈值和所述平均位移中的最小值；计算所述最小值与所述位移阈值的比值的平方，得到所述更新学习率。

优选地，所述依据所述更新学习率对各所述人脸图像对应的人脸关键点集进行调整，包括：依据所述人脸图像序列，获取当前帧人脸图像；计算所述当前帧人脸图像对应的人脸形状预测关键点集坐标；获取位于所述当前帧人脸图像的上一帧人脸图像；获取所述上一帧人脸图像对应的人脸形状估计关键点集坐标；依据所述人脸形状估计关键点集坐标、所述人脸形状预测关键点集坐标和所述更新学习率，对所述当前帧人脸图像对应的人脸关键点集进行调整。