[发明专利]基于视线估计的行为识别方法及装置、电子设备、存储介质

权利要求书

1.一种基于视线估计的行为识别方法，其特征在于，所述方法包括：

采集图像，检测所采集图像中是否包含人脸面部；

对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；

对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离；

基于所述视线方向角和实际距离，确定所述对象是否发生设定行为。

2.根据权利要求1所述的方法，其特征在于，所述计算人脸面部所属对象的面部与图像采集单元之间的实际距离，包括：

确定所述面部图像的尺寸；

根据所述面部图像的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。

3.根据权利要求1所述的方法，其特征在于，基于所述视线方向角和实际距离，确定所述对象是否发生设定行为，包括：

根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点；

根据所述落点确定所述对象是否发生设定行为。

4.根据权利要求3所述的方法，其特征在于，所述根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点，包括：

根据所述视线方向角确定视线方向向量；

根据所述实际距离和所述图像采集单元的三维位置坐标，确定所述对象的人脸中左右眼连线中心的三维位置坐标；

根据所述视线方向向量和所述对象的人脸中左右眼连线中心的三维位置坐标计算所述落点。

5.根据权利要求3所述的方法，其特征在于，所述据所述落点确定所述对象是否发生设定行为，包括：

确定所述落点是否位于所述显示单元内；

其中，在所述落点位于所述显示单元内时，确定所述对象发生设定行为；在所述落点未位于所述显示单元内时，确定所述对象未发生设定行为。

6.根据权利要求1所述的方法，其特征在于，所述计算所述人脸面部所属对象的人脸的视线方向角，包括：

将所述图像中的人眼图片输入至预先训练好的视线估计模型中，输出与所述人眼图片中左右眼的视线方向角；

将左右眼的视线方向角的平均值作为所述人脸的视线方向角。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述图像中包括多个人脸面部时，在所述多个人脸面部中至少一个所述人脸面部所属对象发生设定行为的情况下，确定发生了所述设定行为。

8.一种基于视线估计的行为识别装置，其特征在于，所述装置包括：

采集单元，用于采集图像；

检测单元，用于检测所采集图像中是否包含人脸面部；

第一确定单元，用于对于包含人脸面部的图像，确定图像中的人脸面部是否为闭眼面部；

计算单元，用于对人脸面部不是闭眼面部的图像，计算所述人脸面部所属对象的人脸的视线方向角及所述人脸面部所属对象的人脸与图像采集单元之间的实际距离；

第二确定单元，用于基于所述视线方向角和实际距离，确定所述对象是否发生设定行为。

9.根据权利要求8所述的装置，其特征在于，所述计算单元，还用于确定所述面部图像的尺寸；根据所述面部图像的尺寸和所述图像采集单元的显示单元的分辨率，计算所述对象的面部与所述图像采集单元之间的实际距离。

10.根据权利要求8所述的装置，其特征在于，所述第二确定单元，还用于：

根据所述视线方向角和所述实际距离确定计算所述对象的视线在所述图像采集单元的显示单元的落点；

根据所述落点确定所述对象是否发生设定行为。