[发明专利]人脸图像的视线矫正方法、装置、设备及存储介质

权利要求书

1.一种人脸图像的视线矫正方法，其特征在于，所述方法包括：

从人脸图像中获取待矫正眼部图像；

对所述待矫正眼部图像进行特征提取处理，得到所述待矫正眼部图像的特征信息；

基于所述特征信息和目标视线方向，对所述待矫正眼部图像进行视线矫正处理，得到初步矫正后眼部图像和眼部轮廓掩码；其中，所述目标视线方向是指所述待矫正眼部图像中的眼部视线需要矫正至的视线方向，所述眼部轮廓掩码用于指示所述待矫正眼部图像中的像素位置属于眼部区域的概率；

将所述眼部轮廓掩码与所述初步矫正后眼部图像中对应位置的像素值进行相乘，得到第一中间图像；

将所述眼部轮廓掩码对应的映射图像与所述待矫正眼部图像中对应位置的像素值进行相乘，得到第二中间图像；

将所述第一中间图像和所述第二中间图像中对应位置的像素值进行相加，得到矫正后眼部图像；

基于所述矫正后眼部图像，生成经视线矫正后的人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述待矫正眼部图像进行特征提取处理，得到所述待矫正眼部图像的特征信息，包括：

通过视线矫正模型的编码网络，对所述待矫正眼部图像进行特征提取处理，得到所述待矫正眼部图像的特定眼神特征、眼神无关特征和环境相关特征。

3.根据权利要求1所述的方法，其特征在于，所述基于所述特征信息和目标视线方向，对所述待矫正眼部图像进行视线矫正处理，得到初步矫正后眼部图像和眼部轮廓掩码，包括：

对所述特征信息和所述目标视线方向在通道维进行组合，得到组合数据；

通过视线矫正模型的解码网络，对所述组合数据进行处理，得到所述视线矫正模型的输出数据；

从所述输出数据中提取得到所述初步矫正后眼部图像和所述眼部轮廓掩码。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述矫正后眼部图像，生成经视线矫正后的人脸图像，包括：

将所述矫正后眼部图像整合至所述待矫正眼部图像在所述人脸图像的图像截取框位置处，得到整合图像；

对所述整合图像中所述图像截取框位置处进行图像和谐化处理，得到所述经视线矫正后的人脸图像；其中，所述图像和谐化处理用于消除所述图像截取框位置处的边界痕迹。

5.一种视线矫正模型的训练方法，其特征在于，所述方法包括：

获取视线矫正模型的训练样本，所述训练样本包括待矫正眼部图像样本和目标矫正眼部图像；

通过视线矫正模型基于所述待矫正眼部图像样本、所述目标矫正眼部图像和目标视线方向，生成初步矫正后眼部图像样本和眼部轮廓掩码；其中，所述目标视线方向是指所述待矫正眼部图像样本中的眼部视线需要矫正至的视线方向，所述眼部轮廓掩码用于指示所述待矫正眼部图像样本中的像素位置属于眼部区域的概率；

将所述眼部轮廓掩码与所述初步矫正后眼部图像样本中对应位置的像素值进行相乘，得到第三中间图像；

将所述眼部轮廓掩码对应的映射图像与所述待矫正眼部图像样本中对应位置的像素值进行相乘，得到第四中间图像；

将所述第三中间图像和所述第四中间图像中对应位置的像素值进行相加，得到矫正后眼部图像样本；

基于所述矫正后眼部图像样本和所述目标矫正眼部图像，确定所述视线矫正模型的损失，并基于所述损失对所述视线矫正模型的参数进行调整。