[发明专利]基于人脸特征点的实时视频人脸卡通化生成方法

权利要求书

1.基于人脸特征点的实时视频人脸卡通化生成方法，其特征在于，包括下列步骤：

步骤1：从输入视频选择一帧正面中性表情图像作为参考帧，对参考帧进行人脸卡通化处理并保存参考帧的卡通眼睛、卡通眉毛、卡通鼻子以及包含头发的面部轮廓的卡通面部轮廓；

步骤2：基于视频帧的人脸特征点，提取参考帧与视频帧的人脸变化量并进行归一化处理，查找与参考帧的人脸变化量满足变化阈值的输入视频帧作为卡通视频的起始帧；

步骤3：对起始帧及起始帧的后续帧进行视频卡通生成：

将参考帧的卡通面部轮廓作为当前帧的卡通面部轮廓；

将参考帧的卡通鼻子作为当前帧的卡通鼻子；

基于视频帧的人脸特征点，分别计算当前帧与起始帧的眼睛高度并进行归一化处理，基于当前帧的眼睛高度T与参考帧的眼睛高度V的比值a得到仿射变换矩阵基于仿射变换矩阵W对参考帧的卡通眼睛进行仿射变换得到当前帧的卡通眼睛；

将参考帧的卡通眉毛作为当前帧的卡通眉毛，取参考帧的卡通眉毛与卡通眼睛的竖直距离并记为L，当前帧的眼睛高度T与参考帧的眼睛高度V的差记为M，若M大于零，则当前帧的卡通眉毛与卡通眼睛的竖直距离为：L+K*M，其中预设值K大于或等于1；否则，当前帧的卡通眉毛与卡通眼睛的竖直距离为L；

基于当前帧的人脸特征点，对嘴巴特征点进行多边形拟合，得到当前帧的卡通嘴巴；

基于当前帧的人脸特征点的位置，以鼻子上的点为参考点，将当前帧的卡通面部轮廓、卡通鼻子、卡通眉毛、卡通眼睛、卡通嘴巴放到相应位置，得到当前帧的卡通帧。

2.如权利要求1所述的方法，其特征在于，步骤2中，所述变化阈值为：头部偏移角度不超过参考帧的2-8°、左右眼的上下眼眶高度不超过参考帧的2-8％和嘴唇高度不超过参考帧的2-8％。

3.如权利要求1或2所述的方法，其特征在于，步骤3中，预设值K的取值为10。

4.如权利要求1或2所述的方法，其特征在于，对视频帧进行上/下采样处理后，再确定各视频帧的人脸特征点；

在嘴巴处理时，基于采样方式，对基于多边形拟合得到的卡通嘴巴进行对应的坐标和尺度变换处理。

5.如权利要求1或2所述的方法，其特征在于，基于ERT方法确定输入视频各帧的人脸特征点。