[发明专利]一种虚拟上妆方法、系统及设备

权利要求书

1.一种虚拟上妆方法，其特征在于，包括以下步骤：

在3DMM模型中标注多个3D人脸特征点，所述3DMM模型投影得到UV展开图，所述3D人脸特征点投影得到3D特征纹理点，提取所述3D特征纹理点的纹理坐标；

对2D图像进行人脸检测和特征点检测，得到与所述3D人脸特征点个数相同的2D人脸特征点和欧拉角参数；

根据所述2D人脸特征点和欧拉角参数，修正所述3D特征纹理点中的轮廓纹理点的纹理坐标，得到修正轮廓纹理点，以及修正3D特征纹理点；

对所述修正3D特征纹理点进行扩展插值，得到扩展纹理点，所述扩展纹理点和所述修正3D特征纹理点构成3D纹理点；

将所述2D人脸特征点归一化，以归一化的所述2D人脸特征点和所述修正3D特征纹理点作为控制点，对所述3D纹理点进行变换，得到所述3D纹理点的变换坐标；

在所述UV展开图上设计妆容；

根据所述妆容上的所述3D纹理点的纹理坐标和变换坐标，对所述2D图像上的人脸图像进行上妆。

2.根据权利要求1所述的虚拟上妆方法，其特征在于，修正所述3D特征纹理点中的轮廓纹理点的纹理坐标的方法为：

以正脸0°的3D人脸特征点中的3D轮廓点为基准，将所述3DMM模型绕Z轴每隔1°旋转到一个姿态，计算所述姿态下的所述轮廓纹理点的纹理坐标；

将所述2D人脸特征点旋转至水平角度并归一化，根据所述欧拉角参数选取对应所述姿态下的所述轮廓纹理点，修正所述轮廓纹理点的纹理坐标。

3.根据权利要求2所述的虚拟上妆方法，其特征在于，所述3DMM模型绕Z轴的旋转范围为从正脸0°到侧脸50°。

4.根据权利要求2所述的虚拟上妆方法，其特征在于，计算所述姿态下的所述轮廓纹理点的纹理坐标的方法为：均匀采样所述姿态下的5个所述3D轮廓点，根据B样条曲线拟合出该姿态下所有的所述3D轮廓点，并计算所述轮廓纹理点的纹理坐标。

5.根据权利要求2所述的虚拟上妆方法，其特征在于，以旋转至水平角度并归一化的所述2D人脸特征点中的五官点和对应所述状态下所述3D特征纹理点中的五官点为基准，修正所述轮廓纹理点的纹理坐标。

6.根据权利要求1所述的虚拟上妆方法，其特征在于，采用拉格朗日插值算法、牛顿插值算法和线性插值算法对所述修正3D特征纹理点进行扩展插值。

7.根据权利要求1所述的虚拟上妆方法，其特征在于，对所述3D纹理点做三角剖分，得到所述3D纹理点的三角网格，采用保相似形变算法对所述3D纹理点进行变换。

8.根据权利要求1所述的虚拟上妆方法，其特征在于，为所述修正3D纹理点的变换坐标赋予Z值。

9.一种虚拟上妆系统，其特征在于，包括：

标注模块，用于在3DMM模型中标注3D人脸特征点；

UV模块，用于将所述3DMM模型投影得到UV展开图，将所述3D人脸特征点投影得到3D特征纹理点，提取所述3D特征纹理点的纹理坐标；

检测模块，用于对2D图像进行人脸检测和特征点检测，得到与所述3D人脸特征点个数相同的2D人脸特征点和欧拉角参数；

修正模块，用于根据所述2D人脸特征点和欧拉角参数，修正所述3D特征纹理点中的轮廓纹理点的纹理坐标，得到修正轮廓纹理点，以及修正3D特征纹理点；

插值模块，用于对所述修正3D特征纹理点进行扩展插值，得到扩展纹理点和所述扩展纹理点的纹理坐标，所述扩展纹理点和所述修正3D特征纹理点构成3D纹理点；

变换模块，用于将所述2D人脸特征点归一化，以归一化的所述2D人脸特征点和所述修正3D特征纹理点作为控制点，对所述3D纹理点进行变换，得到所述3D纹理点的变换坐标；

设计模块，用于在UV展开图上设计妆容；

上妆模块，用于根据妆容上的所述3D纹理点的纹理坐标和变换坐标，对所述2D图像上的人脸图像进行上妆。

10.一种虚拟上妆设备，其特征在于，所述设备用于运行程序，其中，所述程序运行时执行如权利要求1～8任一项所述的虚拟上妆方法。