[发明专利]人眼图像处理模型的训练方法、图像处理方法及装置

说明书

本发明提供了人眼图像处理模型的训练方法，包括：通过所述人眼图像处理模型的风格迁移网络，对所述待矫正人眼图像集合中的不同待矫正人眼图像分别进行处理，形成目标人眼图像；确定与人眼图像处理模型的使用环境相匹配的训练样本，通过与人眼图像处理模型的使用环境相匹配的训练样本集合，对人眼图像处理模型的矫正网络进行训练，确定与所述人眼图像处理模型的矫正网络相适配的模型参数。本发明还提供了图像处理方法、装置、电子设备及存储介质。本发明保证人眼图像处理模型的识别精度的情况下提升人眼图像处理模型的训练效率，减少人眼图像处理的复杂性，适应不同的数据处理环境，增强了人眼图像处理模型的鲁棒性，减少使用成本。

技术领域

本发明涉及图像处理技术，尤其涉及人眼图像处理模型的训练方法、图像处理方法、装置、电子设备及存储介质。

背景技术

在视频处理过程中，视线矫正 (Gaze Correction)是对人的眼睛的图片进行处理，可以改变视频中人眼的视线方向。视线矫正在视频通话等交流场景中都有实际的价值和广泛的前景。但是由于人眼的图像或者视频在采集时会在尺寸，分辨率，视角，光照，纹理，遮挡等方面有较大变化，基于3D建模所渲染出的图像通常在纹理以及材质上与真实人眼图像差距较大，缺乏自然度，使用3D设备实现视线矫正的硬件成本较高，而通过深度神经网络实现视线矫正则会由于缺少大规模的训练样本，必须进行样本的采集与标注，增加使用成本。

发明内容

有鉴于此，本发明实施例提供人眼图像处理模型的训练方法、图像处理方法、装置、电子设备及存储介质，能够保证人眼图像处理模型的识别精度的情况下提升人眼图像处理模型的训练效率，减少人眼图像处理的复杂性，在兼顾了训练精确性的同时，使得人眼图像处理模型的泛化能力以及数据处理能力更强，适应不同的数据处理环境，增强了人眼图像处理模型的鲁棒性，减少使用成本。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种人眼图像处理模型的训练方法，包括：

获取与人眼图像处理模型的使用环境相匹配的待矫正人眼图像集合；

通过所述人眼图像处理模型的风格迁移网络，对所述待矫正人眼图像集合中的不同待矫正人眼图像分别进行处理，形成目标人眼图像；

基于所述待矫正人眼图像和所述目标人眼图像，确定与人眼图像处理模型的使用环境相匹配的训练样本，其中，所述训练样本中包括与不同视线位置相匹的用户人眼图像；

通过与人眼图像处理模型的使用环境相匹配的训练样本集合，对人眼图像处理模型的矫正网络进行训练，确定与所述人眼图像处理模型的矫正网络相适配的模型参数，以实现通过所述人眼图像处理模型对使用环境中的人眼图像进行矫正。

本发明实施例提供了一种人眼图像处理模型的图像处理方法，包括：

响应于人眼矫正请求，获取终端所采集的目标用户的人脸图像；

基于所述目标用户人脸图像确定对应的待矫正的人眼图像，其中，所述待矫正的人眼图像包括目标用户的左眼图像和右眼图像；

通过人眼图像处理模型对所述待矫正的人眼图像进行处理，获得经过矫正的人眼图像；

基于所述经过矫正的人眼图像对所述目标用户的人脸图像进行调整。

本发明实施例提供了一种人眼图像处理模型的训练装置，包括：

第一信息传输模块，用于获取与人眼图像处理模型的使用环境相匹配的待矫正人眼图像集合；

训练模块，用于通过所述人眼图像处理模型的风格迁移网络，对所述待矫正人眼图像集合中的不同待矫正人眼图像分别进行处理，形成目标人眼图像；