[发明专利]图像处理、AR显示与直播方法、设备及存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

基于先验3D人脸模型对2D人脸图像进行三维重建，得到所述2D人脸图像对应的目标3D人脸模型；

在三维重建过程中，结合所述2D人脸图像到所述目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据；

根据所述2D人脸的姿态数据针对所述目标3D人脸模型执行向所述2D人脸图像的透视投影处理。

2.根据权利要求1所述的方法，其特征在于，基于先验3D人脸模型对2D人脸图像进行三维重建，得到所述2D人脸图像对应的目标3D人脸模型，包括：

利用第一神经网络模型对所述2D人脸图像进行特征提取，得到2D人脸全局特征图；

利用第二神经网络模型对所述先验3D人脸模型进行特征提取，得到所述先验3D人脸模型上多个3D点的特征向量；

根据所述2D人脸全局特征图和所述多个3D点的特征向量，生成3D人脸形变参数；

根据所述3D人脸形变参数和所述先验3D人脸模型，重建所述2D人脸图像对应的目标3D人脸模型。

3.根据权利要求2所述的方法，其特征在于，在利用第一神经网络模型对所述2D人脸图像进行特征提取的过程中，还包括：基于所述2D人脸全局特征图生成多个像素点的特征向量，所述多个像素点来自所述2D人脸图像的人脸区域中；

相应地，利用第二神经网络模型对所述先验3D人脸模型进行特征提取，得到所述先验3D人脸模型上多个3D点的特征向量，包括：利用第二神经网络模型对所述先验3D人脸模型进行特征提取，得到3D人脸全局特征图，基于所述3D人脸全局特征图生成所述多个3D点的特征向量；

相应地，在三维重建过程中，结合所述2D人脸图像到所述目标3D人脸模型的位置映射关系进行人脸姿态估计，以得到2D人脸的姿态数据，包括：

将所述3D人脸全局特征和所述多个像素点的特征向量进行拼接，得到第二融合特征；利用第四神经网络模型对所述第二融合特征进行特征学习，得到2D-3D映射参数；根据所述2D-3D映射参数和所述目标3D人脸模型对所述2D人脸图像中的人脸进行姿态估计，以得到2D人脸的姿态数据。

4.根据权利要求3所述的方法，其特征在于，利用第一神经网络模型对所述2D人脸图像进行特征提取，得到2D人脸全局特征图，包括：

将所述2D人脸图像送入第一神经网络模型中的人脸分割网络层进行人脸分割，得到所述2D人脸图像的初始特征图和所述2D人脸图像中的人脸区域，所述人脸区域包括所述多个像素点，且所述初始特征图中包括所述多个像素点的特征；将所述多个像素点的特征输入第一神经网络模型中的第一特征提取网络层针对2D人脸进行特征提取，得到2D人脸全局特征图；

相应地，基于所述2D人脸全局特征图生成多个像素点的特征向量，包括：将所述2D人脸全局特征图输入第一神经网络模型中的第二特征提取网络层针对每个像素点进行特征提取，得到多个像素点的特征向量。

5.根据权利要求3所述的方法，其特征在于，利用第二神经网络模型对所述先验3D人脸模型进行特征提取，得到3D人脸全局特征，包括：从所述先验3D人脸模型上选取多个3D点，将所述多个3D点的位置坐标输入第二神经网络模型中的第三特征提取网络层进行特征提取，得到3D人脸全局特征；

相应地，基于所述3D人脸全局特征图生成所述多个3D点的特征向量，包括：将所述3D人脸全局特征输入第二神经网络模型中的第四特征提取网络层进行特征提取，得到所述多个3D点的特征向量。