[发明专利]图像处理方法和设备

说明书

公开了一种图像处理方法和设备。所述图像处理方法包括：获取图像帧；基于从图像帧的至少一个先前帧获得的第一先验信息来跟踪用户的面部区域；根据确定基于第一先验信息的面部区域的跟踪已经失败，基于从至少一个先前帧获得的第二先验信息来在图像帧中设置扫描区域；以及基于扫描区域来在图像帧中检测面部区域。

本申请要求于2019年8月26日在韩国知识产权局提交的第10-2019-0104570号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。

技术领域

与示例实施例一致的方法和设备涉及图像处理方法和图像处理设备。

背景技术

基于相机的眼睛跟踪技术可适用于多个领域(诸如，以基于视点跟踪的自动立体三维(3D)超多视图显示器和/或平视显示器(HUD)为例)中。基于相机的眼睛跟踪技术的性能依赖于相机的图像质量和/或眼睛跟踪方法的性能。在照度急剧变化的环境中(例如，在驾驶环境中)，基于相机的眼睛跟踪技术的操作的稳定性由于背光、强日光、黑暗和低照度环境、驾驶期间的隧道通过和/或驾驶员的运动而降低。考虑到可使用增强现实(AR)3D HUD的驾驶环境，存在对以下方法的需求：该方法响应于由于用户的运动或照度的影响而导致的用户的眼睛的跟踪失败，而能够快速地重新检测眼睛的位置并且获取眼睛的坐标。

发明内容

一个或多个示例实施例可至少解决以上问题和/或缺点以及以上未描述的其他缺点。此外，不要求示例实施例克服上述缺点，并且示例实施例可能不克服上述问题中的任何一个。

一个或多个示例实施例提供了一种方法，在该方法中，响应于由于用户的运动或照度的影响而导致的用户的面部或眼睛的跟踪失败，可快速地重新检测眼睛的位置并且获得眼睛的坐标。因此，可提高跟踪用户的面部或眼睛的准确性和速度。

根据示例实施例的一个方面，提供了一种图像处理方法，所述图像处理方法包括：获取图像帧；基于从图像帧的至少一个先前帧获得的第一先验信息来跟踪用户的面部区域；根据确定基于第一先验信息的面部区域的跟踪已经失败，基于从所述至少一个先前帧获得的第二先验信息来在图像帧中设置扫描区域；以及基于扫描区域来在图像帧中检测面部区域。

第二先验信息可包括与至少一个先前扫描区域有关的信息，面部区域的检测基于所述至少一个先前扫描区域在所述至少一个先前帧中被执行，并且设置的步骤可包括将扫描区域重置为所述至少一个先前扫描区域扩大到的区域。

重置的步骤可包括：基于先前扫描区域中的面部区域的跟踪是否已经失败，通过顺序地扩大用于设置先前扫描区域的窗口的尺寸来重置扫描区域。

通过顺序地扩大窗口的尺寸来重置扫描区域的步骤可包括：基于先前扫描区域中的面部区域的跟踪已经失败的次数，顺序地扩大用于设置先前扫描区域的窗口的尺寸；以及基于顺序地扩大的窗口的尺寸来重置扫描区域。

基于面部区域的跟踪已经失败的次数，顺序地扩大窗口的尺寸的步骤可包括以下项中的至少一个：基于确定面部区域的跟踪已经失败一次，将窗口的尺寸扩大到第一窗口的尺寸，先前扫描区域向上、向下、向左和向右扩大到第一窗口；基于确定面部区域的跟踪已经失败两次，将窗口的尺寸扩大到第二窗口的尺寸，基于第一窗口的扫描区域向左和向右扩大到第二窗口；以及基于确定面部区域的跟踪已经失败三次，将窗口的尺寸扩大到第三窗口的尺寸，基于第二窗口的扫描区域向上和向下扩大到第三窗口。

所述图像处理方法还可包括：基于所述至少一个先前帧中累积的用户的瞳孔中心坐标来设置与扫描区域对应的初始扫描窗口。

所述图像处理方法还可包括：基于包括在图像帧中的用户的面部的特征部位，从多个候选窗口之中选择与扫描区域对应的初始扫描窗口；以及基于初始扫描窗口来设置初始扫描区域。

选择的步骤可包括：基于用户的统计位置坐标和用于拍摄图像帧的相机的位置从所述多个候选窗口之中选择初始扫描窗口。