[发明专利]注视区域检测及神经网络的训练方法、装置和设备

说明书

本说明书实施例提供一种注视区域检测及神经网络的训练方法、装置和设备，其中，注视区域检测用神经网络的训练方法包括：至少将作为训练样本的人脸图像输入神经网络，其中，所述人脸图像包括有所述人脸图像中的人脸所对应的注视区域类别标注信息，标注的注视区域类别属于预先对指定空间区域划分得到的多类定义注视区域之一；经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息；确定获取的注视区域类别预测信息与相应图像的注视区域类别标注信息之间的差异；基于所述差异调整所述神经网络的网络参数。

技术领域

本公开涉及计算机视觉技术，特别涉及一种注视区域检测及神经网络的训练方法、装置和设备。

背景技术

随着人工智能和汽车行业的迅速发展，将人工智能技术应用到量产车辆上已经成为一个最具市场前景的方向。目前，车辆市场需求量较为急迫的人工智能产品中，其中一个产品就是用于监控驾驶员在驾驶时的驾驶状态，例如，驾驶员是否存在分心，以在分心时及时的对驾驶员进行提醒，降低事故风险。

发明内容

有鉴于此，本说明书一个或多个实施例的目的，即提供一种注视区域检测及神经网络的训练方法、装置和设备。

第一方面，提供一种注视区域检测用神经网络的训练方法，所述方法包括：

至少将作为训练样本的人脸图像输入神经网络，其中，所述人脸图像包括有所述人脸图像中的人脸所对应的注视区域类别标注信息，标注的注视区域类别属于预先对指定空间区域划分得到的多类定义注视区域之一；

经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息；

确定获取的注视区域类别预测信息与相应图像的注视区域类别标注信息之间的差异；

基于所述差异调整所述神经网络的网络参数。

结合本公开提供的任一实施方式，所述至少将作为训练样本的人脸图像输入神经网络之前，所述方法还包括：裁剪所述人脸图像中的至少一眼睛区域，得到至少一眼睛图像；所述至少将作为训练样本的人脸图像输入神经网络，包括：将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络。

结合本公开提供的任一实施方式，所述将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络，包括：将所述人脸图像和所述人脸图像的所述至少一眼睛图像中的各图像调整到相同的预定尺寸；将调整尺寸后的各图像同时输入所述神经网络；所述经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息，包括：经所述神经网络同时提取输入的所述各图像的特征；根据提取的特征确定所述人脸图像的注视区域类别预测信息。

结合本公开提供的任一实施方式，所述将所述人脸图像和所述人脸图像的所述至少一眼睛图像同时输入所述神经网络，包括：将所述人脸图像和所述至少一眼睛图像对应输入所述神经网络包括的不同的特征提取分支，其中，输入到所述神经网络中的人脸图像和眼睛图像的尺寸不同；所述经所述神经网络对输入的所述人脸图像进行特征提取，并根据提取的特征确定所述人脸图像的注视区域类别预测信息，包括：经各所述特征提取分支分别提取输入各特征提取分支的人脸图像或眼睛图像的特征；融合各特征提取分支提取的人脸图像的特征和眼睛图像的特征，得到融合特征；根据所述融合特征确定所述人脸图像的注视区域类别预测信息。