[发明专利]用于视线估计的方法、装置和电子设备

说明书

提供一种用于视线估计的方法、装置和电子设备。所述方法包括：接收当前帧的输入数据；基于输入数据确定视线模式；以及基于视线模式来调整视线预测的结果，其中，视线模式包括固定模式和运动模式。因此，根据本发明实施例，可以根据视线模式采用不同的处理方式来处理视线预测的结果，提升了视线估计的稳定性。

技术领域

本发明涉及一种用于视线估计的方法、装置和电子设备，具体而言，涉及一种用于在电子设备中的基于视频的视线估计的方法、装置和电子设备。

背景技术

通常，在利用用户的视线来选择应用程序并启动(相当于将视线当作鼠标)或根据视线位置来推送广告的情况下，获取摄像头采集的用户数据(例如图像、视频)，并使用视线预测器来估计用户的视线位置。视线预测器的输入通常为用户数据(一张图像或一段视频)，输出为用户的视线位置。

在通常情况下，视线估计方案的性能包括两个。一个是稳定性，当用户固定看同一个点或者用户在某一个点附近有微小移动时，要求视线估计方案估计出的视线位置不仅要准确，而且不能有较大抖动。另一个是实时性，当用户突然转向看另外一个点时，要求视线估计方案即刻响应，以估计出用户注视的新位置。

目前存在用于视线估计的三种方法。

第一种方法，使用视线预测器对每次采集到的用户数据(视频帧)进行单独估计，视线预测器输出的结果直接作为最终输出结果。但是，这种方法没有考虑到采集的用户数据前后的联系，例如帧之间的联系。故而，即使当用户注视同一个点时，由于用户手握手机产生的颤抖或光照变化导致采集到的用户数据(例如图像)具有轻微不同，视线预测器输出的预测的视线位置也会有一定的抖动，即预测结果不稳定。

第二种方法，在第一种方法后，对视线预测器每次估计的结果执行后处理，例如卡尔曼滤波(Kalman Filter)，并将卡尔曼滤波后的结果作为输出，以达到平滑的效果。但是，基于卡尔曼滤波的方案需要建立运动模型，例如，通常建立零速模型、匀速模型等。

零速模型可以较好地滤除掉由于光照、颤抖等原因造成的预测结果中的噪声，但是，当用户突然转向看另外一个点时，视线预测器输出的结果也会突然变化，然而零速模型会将视线预测器输出的结果中的突然变化当成噪声，使得滤波后的最终结果具有很大延迟。这表现为在隔了一段时间之后，零速模型给出的结果才会体现为用户突然看到的另外一个点。

对于匀速模型，速度是不可观察量，需要根据视线预测器输出的结果进行估计，其估计量也是非常不稳定的。对于用户注视同一个点时产生的噪声，无法稳定地滤除。

第三种方法，改进视线预测器。使用长短期记忆网络(Long Short-Term Memory，简称LSTM)或循环神经网络(Recurrent Neural Network，简称RNN)等考虑时序信息的网络来改进视线预测器。实时采集用户数据并组成序列作为输入(一段视频的帧序列)，传送到改进的视线预测器中。改进的视线预测器输出基于之前捕获的用户数据等信息而预测的用户的当前视线位置。但是，由于改进的视线预测器基于神经网络，所以网络参数需要拟合多种情况，故而该方案是对当用户固定看同一个点和用户突然看其他点这两个情况的折中处理。实际上，拟合性能在两种情况下都不是最理想的。

另外，在现有技术中，不能在电子设备处利用普通可见光摄像头对视线的状态进行判断，故而没有分别对不同的视线模式设计不同的处理方案。

因此，存在对于一种能够区分视线模式来进行视线估计的方法和装置的需求。

发明内容

针对现有技术的问题，本发明实施例提出了以下的解决方案。

根据本发明实施例，提供一种用于视线估计的方法，包括：接收当前帧的输入数据；基于输入数据确定视线模式；以及基于视线模式来调整视线预测的结果，其中，视线模式包括固定模式和运动模式。