[发明专利]基于人脸特征点的实时视频人脸卡通化生成方法

说明书

技术领域

本发明属于图像处理和计算机视觉技术领域，具体地说，是对实时输入的摄像头视频信息进行处理，生成相应的卡通动画的方法。

背景技术

目前视频人脸卡通动画生成方法主要有基于视频流的方法，基于素材重用的方法，物理模型方法，行为驱动方法。

基于视频流的方法可分为：直接卡通绘制、视频信息提取绘制、表情驱动绘制。直接卡通绘制是依次将视频流的内容通过图像处理，得到某种特定艺术风格的卡通图片序列，这种方法未对视频帧与帧之间十分相关的信息进行利用，冗余度很大，对单幅图的处理时间有很高的要求，因此，对精细、复杂的处理不能达到较好的实时性要求。视频信息提取绘制对视频流中有用的信息进行了参考，其中，关键帧插值方法是获取所需要的最有代表性的关键帧，并对其进行处理得到对应的卡通图像，然后在关键帧之间进行插值，得到中间时刻的相应卡通图像，该算法的局限性很强，鲁棒性较差，只能针对同一个人的一类视频，对关键帧的得到也是一个难点。表情驱动绘制是利用一些绘画图片以及有限的参数来描述特定的人脸及表情，然后通过视频信息记录中人脸部表情的变化来驱动卡通图像，形成一个动画序列，因为脸部表情变化是比较细微的运动，因此，这种方法对人脸部表情变化的追综有很高的要求。

基于素材重用的方法是将以往积累的大量动画素材进行提取，得到运动信息、内容信息、纹理信息等，然后应用到新的卡通动画中，这种技术关键在于寻找有相似规律的动画素材，以便将素材里的规律运用到新的卡通中，有很大的局限性，另外，对于摄像头的输入有不可预测性，这个方法是不太合适的。

基于物理模型的动画是将人脸视为一个可变型的弹性体，由弹性矢量单元将人脸的皮肤层、软组织、肌肉层和骨骼层的各个节点链接起来，将这些弹性矢量单以不同的方式组合在一起，就形成可以发生形变的曲线和可以发生形变的曲面，然后利用物理模型的方法模拟肌肉的运动，通常是采用Newtonian运动方程来模拟人脸的肌肉运动。该方法使人脸表情动画更具有真实性，但是人脸模型很复杂，计算量相当的大，不适用于实时处理。

行为驱动方法是指通过运动捕捉设备，获取视频摄像头拍摄的人脸运动的数据，然后用这些运动数据控制计算机生成虚拟的人脸表情运动。为了更好的获取人脸表情变化的数据，可以在待跟踪的人脸上选取特征点，通过对特征点的跟踪来记录人脸的运动数据。根据数据的变化对卡通图像进行相应的处理形成卡通动画。现有的光流法对特征点的跟踪准确度不高，对光照十分敏感，尤其当特征点附近的纹理复杂时容易产生漂移，使人脸表情变化的数据产生错误，从而导致卡通人脸的变化与真实人脸的表情变化不一致。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种基于人脸特征点的实时视频人脸卡通化生成方法。

本发明的基于人脸特征点的实时视频人脸卡通化生成方法包括下列步骤：

步骤1：从输入视频选择一帧正面中性表情图像作为参考帧，对参考帧进行人脸卡通化处理并保存参考帧的卡通眼睛、卡通眉毛、卡通鼻子以及包含头发的面部轮廓的卡通面部轮廓；

步骤2：基于视频帧的人脸特征点，提取参考帧与视频帧的人脸变化量并进行归一化处理，查找与参考帧的人脸变化量满足变化阈值的输入视频帧作为卡通视频的起始帧；

步骤3：对起始帧及起始帧的后续帧进行视频卡通生成：

将参考帧的卡通面部轮廓作为当前帧的卡通面部轮廓；

将参考帧的卡通鼻子作为当前帧的卡通鼻子；

基于视频帧的人脸特征点，分别计算当前帧与起始帧的眼睛高度并进行归一化处理，基于当前帧的眼睛高度T与参考帧的眼睛高度V的比值a得到仿射变换矩阵基于仿射变换矩阵W对参考帧的卡通眼睛进行仿射变化得到当前帧的卡通眼睛；

将参考帧的卡通眉毛作为当前帧的卡通眉毛，取参考帧的卡通眉毛与卡通眼睛的竖直距离并记为L，当前帧的眼睛高度T与参考帧的眼睛高度V的差记为M，若M大于零，则当前帧的卡通眉毛与卡通眼睛的竖直距离设置为：L+K*M，其中预设值K大于或等于1；否则，当前帧的卡通眉毛与卡通眼睛的竖直距离设置为L；

基于当前帧的人脸特征点，对嘴巴特征点进行多边形拟合，得到当前帧的卡通嘴巴；

基于当前帧的人脸特征点的位置，以鼻子上的点为参考点，将当前帧的卡通面部轮廓、卡通鼻子、卡通眉毛、卡通眼睛、卡通嘴巴放到相应位置，得到当前帧的卡通帧。

综上所述，由于采用了上述技术方案，本发明的有益效果是：提供了一种视频人脸卡通化方法，此方法生成的卡通视频效果较好，满足视频的实时要求，对操作环境要求简单。附图说明