[发明专利]虚拟人脸的驱动方法及装置

权利要求书

1.一种虚拟人脸的驱动方法，其特征在于，包括：

采集人脸视频，并检测所述人脸视频中各个视频帧的二维人脸特征点；

对所述人脸视频中一个以上视频帧的二维人脸特征点进行拟合计算，生成三维人脸特征点；

根据所述三维人脸特征点计算驱动参数，并基于所述驱动参数驱动虚拟人脸，包括：获取预设的融合外形矩阵；基于所述融合外形矩阵，对所述三维人脸图像的三维人脸特征点进行拟合运算，生成驱动参数；基于所述驱动参数，驱动所述虚拟人脸；

在所述采集人脸视频，并检测所述人脸视频中各个视频帧的二维人脸特征点之后，还包括对所述人脸视频的视频帧进行筛选以获得一采样视频帧集合，并对所述采样视频帧集合内的视频帧进行筛选；其中，所述对所述采样视频帧集合内的视频帧进行筛选，包括：当按时间顺序排列的两张相邻视频帧，在所述两张相邻视频帧中检测出的二维人脸特征点位置满足预设条件，表示所述两张相邻视频帧差异过大，剔除当前帧；和/或，用边界检测算法检测图像边界，比较每个人脸特征点距离图像边界的最小距离，当最小距离大于预设阈值时则判定当前帧的人脸特征点的可信度低，剔除当前帧；和/或，当旋转角度大于等于预设角度、人脸位置与摄像头距离大于等于预设距离时，剔除当前帧；

所述对所述人脸视频的视频帧进行筛选以获得一采样视频帧集合的步骤，具体如下：

根据所述二维人脸特征点计算人脸的旋转角度，并基于所述旋转角度对所述人脸视频中的各个视频帧分类，并从每类视频帧中抽取至少一个视频帧，组成第一视频帧集合；

根据所述二维人脸特征点计算人脸的表情参数，并基于表情参数的差异从人脸视频中抽取视频帧，组成第二视频帧集合；

计算所述第一视频帧集合与所述第二视频帧集合的并集，以获得所述采样视频帧集合。

2.如权利要求1所述的驱动方法，其特征在于，所述对所述人脸视频中一个以上视频帧的二维人脸特征点进行拟合计算，生成三维人脸特征点，包括：

对所述采样视频帧集合中一个以上视频帧的二维人脸特征点进行拟合计算，得到三维人脸参数；

基于所述三维人脸参数，将所述二维人脸特征点转换为三维人脸特征点。

3.如权利要求2所述的驱动方法，其特征在于，在基于所述三维人脸参数，将所述二维人脸特征点转换为三维人脸特征点之后，还包括：

通过回归算法，对所述三维人脸特征点进行优化。

4.一种虚拟人脸的驱动装置，其特征在于，包括：

采集模块，用于采集人脸视频，并检测所述人脸视频中各个视频帧的二维人脸特征点；

生成模块，用于对所述人脸视频中一个以上视频帧的二维人脸特征点进行拟合计算，生成三维人脸特征点；

驱动模块，用于根据所述三维人脸特征点，计算驱动参数，并基于所述驱动参数，驱动虚拟人脸，包括：获取预设的融合外形矩阵；基于所述融合外形矩阵，对所述三维人脸图像的三维人脸特征点进行拟合运算，生成驱动参数；基于所述驱动参数，驱动所述虚拟人脸；

抽取模块，用于对所述人脸视频的视频帧进行筛选以获得一采样视频帧集合，并对所述采样视频帧集合内的视频帧进行筛选；其中，所述对所述采样视频帧集合内的视频帧进行筛选，包括：当按时间顺序排列的两张相邻视频帧，在所述两张相邻视频帧中检测出的二维人脸特征点位置满足预设条件，表示所述两张相邻视频帧差异过大，剔除当前帧；和/或，用边界检测算法检测图像边界，比较每个人脸特征点距离图像边界的最小距离，当最小距离大于预设阈值时则判定当前帧的人脸特征点的可信度低，剔除当前帧；和/或，当旋转角度大于等于预设角度、人脸位置与摄像头距离大于等于预设距离时，剔除当前帧；

所述抽取模块包括：

第一抽帧子模块，用于根据所述二维人脸特征点计算人脸的旋转角度，并基于所述旋转角度对所述人脸视频中的各个视频帧分类，并从每类视频帧中抽取至少一个视频帧，组成第一视频帧集合；

第二抽帧子模块，用于根据所述二维人脸特征点计算人脸的表情参数，并基于表情参数的差异从人脸视频中抽取视频帧，组成第二视频帧集合；

合并子模块，用于计算所述第一视频帧集合与所述第二视频帧集合的并集，以获得采样视频帧集合。