[发明专利]基于检测到的手势和凝视调用自动化助理功能

权利要求书

1.一种由客户端设备的一个或多个处理器实现的方法，所述方法促进在一个或多个用户与自动化助理之间的无接触交互，所述方法包括：

接收基于来自所述客户端设备的一个或多个相机的输出的图像帧的流；

使用在本地存储在所述客户端设备上的至少一个训练后的机器学习模型来处理所述流的图像帧以监视以下两者的发生：

通过所述图像帧中的至少一个图像帧所捕获的用户的调用手势，和

所述用户的指向所述客户端设备的凝视；

基于所述监视，检测以下两者的发生：

所述调用手势，和

所述凝视；以及

响应于检测到所述调用手势和所述凝视两者的发生：

使所述自动化助理的至少一个功能被激活。

2.根据权利要求1所述的方法，其中，响应于检测到所述调用手势和所述凝视两者的发生而被激活的所述自动化助理的所述至少一个功能包括：

向与所述自动化助理相关联的远程服务器传送经由所述客户端设备的一个或多个麦克风所捕获的音频数据。

3.根据权利要求1或权利要求2所述的方法，其中，响应于检测到所述调用手势和所述凝视两者的发生而被激活的所述至少一个功能包括：

向与所述自动化助理相关联的远程服务器传送附加图像帧，所述附加图像帧基于来自所述相机中的一个或多个相机的输出并且在检测到所述调用手势和所述凝视两者的发生之后被接收。

4.根据任一前述权利要求所述的方法，其中，响应于检测到所述调用手势和所述凝视两者的发生而被激活的所述至少一个功能包括：

在所述客户端设备处处理缓冲的音频数据，所述缓冲的音频数据被存储在所述客户端设备处的存储器中并且是经由所述客户端设备的一个或多个麦克风来捕获的，并且处理所述缓冲的音频数据包括以下各项中的一者或两者：

调用短语检测处理，和

自动语音辨识。

5.根据权利要求4所述的方法，其中，处理所述缓冲的音频数据包括所述自动语音辨识，并且其中，所述自动语音辨识包括话音至文本处理。

6.根据权利要求4或权利要求5所述的方法，其中，处理所述缓冲的音频数据包括调用短语检测处理并且还包括：

响应于所述调用短语检测处理检测到在所述缓冲的音频数据中存在调用短语，执行以下各项中的一者或两者：

向与所述自动化助理相关联的远程服务器传送经由所述客户端设备的所述一个或多个麦克风捕获的另外的音频数据；以及

向与所述自动化助理相关联的远程服务器传送附加图像帧，所述附加图像帧基于来自所述相机中的一个或多个相机的输出并且在检测到所述调用手势和所述凝视两者的发生之后被接收。

7.根据任一前述权利要求所述的方法，其中，使用在本地存储在所述客户端设备上的至少一个训练后的机器学习模型来处理所述流的图像帧以监视所述调用手势和所述凝视两者的发生包括：

使用第一训练后的机器学习模型来监视所述调用手势的发生；以及

使用第二训练后的机器学习模型来监视所述用户的指向所述客户端设备的凝视。

8.根据权利要求7所述的方法，其中，使用所述第二训练后的机器学习模型来监视所述用户的指向所述客户端设备的凝视仅响应于使用所述第一训练后的机器学习模型检测到所述调用手势的发生而发生。

9.根据权利要求7或权利要求8所述的方法，其中，使用所述第一训练后的机器学习模型来监视所述调用手势的发生包括使用所述第一机器学习模型来处理所述图像帧的第一分辨率版本；并且其中，使用所述第二训练后的机器学习模型来监视所述用户的凝视包括使用所述第二机器学习模型来处理所述图像帧的第二分辨率版本。