[发明专利]基于视线估计的行为识别方法及装置、电子设备、存储介质

说明书

本公开是关于一种基于视线估计的行为识别方法及装置、电子设备、存储介质。所述方法包括：采集图像，检测所采集图像中是否包含人脸面部；对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离；基于所述视线方向角和实际距离，确定所述对象是否发生设定行为。本公开的用户行为检测精准，操控精度高，保证了基于用户行为的人机交互可靠性。

技术领域

本公开涉及基于智能指令的交互控制技术，尤其涉及一种基于视线估计的行为识别方法及装置、电子设备、存储介质。

背景技术

智能交互是人与智能电子设备之间基于用户行为检测而生成操控指令的交互方式。用户行为包括语音、表情、手势、人脸识别等多模态行为，通过检测用户行并进行感知、理解而生成操控指令,进而控制设备提供精准匹配的响应，全面提升交互体验。目前，在人脸识别方面，对于表情或行为的识别的精准度还达不到相应要求。

发明内容

本公开提供一种基于视线估计的行为识别方法及装置、电子设备、存储介质。

根据本公开实施例的第一方面，提供一种基于视线估计的行为识别方法，包括：

采集图像，检测所采集图像中是否包含人脸面部；

对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；

对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离；

基于所述视线方向角和实际距离，确定所述对象是否发生设定行为。

可选的，所述计算人脸面部所属对象的面部与图像采集单元之间的实际距离，包括：

确定所述面部图像的尺寸；

根据所述面部图像的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。

可选的，基于所述视线方向角和实际距离，确定所述对象是否发生设定行为，包括：

根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点；

根据所述落点确定所述对象是否发生设定行为。

可选的，所述根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点，包括：

根据所述视线方向角确定视线方向向量；

根据所述实际距离和所述图像采集单元的三维位置坐标，确定所述对象的人脸中左右眼连线中心的三维位置坐标；

根据所述视线方向向量和所述对象的人脸中左右眼连线中心的三维位置坐标计算所述落点。

可选的，所述据所述落点确定所述对象是否发生设定行为，包括：

确定所述落点是否位于所述显示单元内；

其中，在所述落点位于所述显示单元内时，确定所述对象发生设定行为；在所述落点未位于所述显示单元内时，确定所述对象未发生设定行为。

可选的，所述计算所述人脸面部所属对象的人脸的视线方向角，包括：

将所述图像中的人眼图片输入至预先训练好的视线估计模型中，输出与所述人眼图片中左右眼的视线方向角；

将左右眼的视线方向角的平均值作为所述人脸的视线方向角。

可选的，所述方法还包括：