[发明专利]一种虚拟上妆方法、系统及设备

说明书

一种虚拟上妆方法、系统及设备，包括以下步骤：在3DMM模型中标注3D人脸特征点，3DMM模型投影得到UV展开图，3D人脸特征点投影得到3D特征纹理点，提取3D特征纹理点的纹理坐标；对2D图像进行人脸检测和特征点检测，得到2D人脸特征点和欧拉角参数；修正3D特征纹理点中的轮廓纹理点的纹理坐标，得到修正3D特征纹理点；对修正3D特征纹理点进行扩展插值，得到扩展纹理点；以归一化的2D人脸特征点和3D特征纹理点作为控制点，对3D纹理点进行变换，得到3D纹理点的变换坐标；在UV展开图上设计妆容；对2D图像上的人脸图像进行上妆。本发明可以提高虚拟上妆的真实感、透视感和贴合性。

技术领域

本发明涉及虚拟上妆技术领域，特别是一种虚拟上妆方法、系统及设备。

背景技术

随着时代发展，人们，尤其是女性对于颜值有更高要求。化妆对于女性来说是必不可少。海量的化妆产品会让试妆者耗费时间和金钱。虚拟现实技术的问世给予试妆者更好的试妆体验。虚拟试妆可以在极短的时间内向试妆者呈现其化妆后的效果。

目前的虚拟试妆技术主要有2D人脸特征点插值方法和3D人脸模型重建方法。2D人脸特征点插值方法，先对2D人脸特征点进行插值，构建人脸网格模型，再利用顶点坐标和纹理坐标的坐标对进行纹理映射。这种方法映射到人脸上除五官区域外的纹理会随人脸姿态产生拉伸，即纹理无透视感。3D人脸模型重建方法以2D人脸特征点和对应的3DMM人脸特征点作为约束进行单图人脸重建，得到能够较好表征2D图像中人脸的3D模型和投影参数，利用3D模型的顶点坐标、纹理坐标和投影参数把纹理映射到2D人脸上。由于这种方法需要进行单图人脸重建和参数优化，相对于2D人脸特征点插值方法，计算复杂性高，稳定性差，导致3D模型映射到2D人脸上时轮廓无法贴合。

发明内容

本发明为解决上述问题，提供了一种虚拟上妆方法、系统及设备，可以有效克服虚拟上妆中纹理拉伸、透视感弱和贴合性差的问题。

为实现上述目的，本发明采用的技术方案为：

一种虚拟上妆方法，包括以下步骤：在3DMM模型中标注多个3D人脸特征点，所述3DMM模型投影得到UV展开图，所述3D人脸特征点投影得到3D特征纹理点，提取所述3D特征纹理点的纹理坐标；对2D图像进行人脸检测和特征点检测，得到与所述3D人脸特征点个数相同的2D人脸特征点和欧拉角参数；根据所述2D人脸特征点和欧拉角参数，修正所述3D特征纹理点中的轮廓纹理点的纹理坐标，得到修正轮廓纹理点，以及修正3D特征纹理点；对所述修正3D特征纹理点进行扩展插值，得到扩展纹理点，所述扩展纹理点和所述修正3D特征纹理点构成3D纹理点；将所述2D人脸特征点归一化，以归一化的所述2D人脸特征点和所述修正3D特征纹理点作为控制点，对所述3D纹理点进行变换，得到所述3D纹理点的变换坐标；在所述UV展开图上设计妆容；根据所述妆容上的所述3D纹理点的纹理坐标和变换坐标，对所述2D图像上的人脸图像进行上妆。

优选的，修正所述3D特征纹理点中的轮廓纹理点的纹理坐标的方法为：以正脸0°的3D人脸特征点中的3D轮廓点为基准，将所述3DMM模型绕Z轴每隔1°旋转到一个姿态，计算所述姿态下的所述轮廓纹理点的纹理坐标；将所述2D人脸特征点旋转至水平角度并归一化，根据所述欧拉角参数选取对应所述姿态下的所述轮廓纹理点，修正所述轮廓纹理点的纹理坐标。

优选的，所述3DMM模型绕Z轴的旋转范围为从正脸0°到侧脸50°。

优选的，计算所述姿态下的所述轮廓纹理点的纹理坐标的方法为：均匀采样所述姿态下的5个所述3D轮廓点，根据B样条曲线拟合出该姿态下所有的所述3D轮廓点，并计算所述轮廓纹理点的纹理坐标。

优选的，以旋转至水平角度并归一化的所述2D人脸特征点中的五官点和对应所述状态下所述3D特征纹理点中的五官点为基准，修正所述轮廓纹理点的纹理坐标。

优选的，采用拉格朗日插值算法、牛顿插值算法和线性插值算法对所述修正3D特征纹理点进行扩展插值。