[发明专利]多模态语音唤醒和打断方法及装置

说明书

本发明公开多模态语音唤醒和打断方法及装置，其中，一种多模态语音唤醒方法，包括：响应于获取到用户的嘴唇轮廓，基于所述用户的嘴唇轮廓的变化判断所述用户是否有交互意图；若有交互意图，获取所述用户的语音信息并进行语音识别处理；基于语音识别处理结果，判断所述语音识别处理结果是否有效；若有效，唤醒设备与所述用户进行语音交互。通过获取用户的嘴唇轮廓判断用户是否有交互意图，从而可以选择是否获取用户的语音信息，进一步地，通过语音识别处理结果是否有效判断是否唤醒设备，从而可以实现人机交互的过程中减少外界环境的干扰，增强人机交互的体验。

技术领域

本发明属于语音交互技术领域，尤其涉及多模态语音唤醒和打断方法及装置。

背景技术

目前市面上语音机器人的唤醒方法以唤醒词为主，当用户的语音被识别为既定关键词时，机器人被唤醒并开始与用户进行交互。以现有的智能设备中的语音助手为例，当用户命中对应的关键词时，能在用户界面看到语音助手的出现。打断的主要方式有唤醒词打断和声音打断。在语音交互中，当系统检测到唤醒词或其它声音时，机器人会立即停止播放当前的提示并开始听用户说话。通过语音关键词，打断方式与唤醒时一致；对于声音打断，当机器人在播报时，若检测到用户说话或者环境中其它的声音，播报会被打断。

综合而言，目前语音对话产品中的打断方式有诸多不足，而基于多模态交互的语音机器人能弥补它们的缺陷。

其中，发明人在实现本申请的过程中发现：通过特定唤醒词唤醒语音机器人这一方式，存在以下缺点：

容易受到环境的干扰产生“误唤醒”现象。当机器人所在的环境中有多人进行对话，很可能会有人在不知情的情况下无意命中唤醒词，机器人的反应会打断交谈过程；环境中也可能产生其它噪声让机器人误触发唤醒程序。

其中，发明人在实现本申请的过程中发现：语音机器人的打断方式有唤醒词和声音，分别有如下缺点：

通过唤醒词打断会让对话过程显得生硬、不自然。用户在与机器人对话中发现机器人答非所问，而且回答时间又比较长，希望能尽快让机器人停止回答。此时若通过与唤醒一样的方式，即唤醒词来让回答被打断，虽然效果较好，机器人能及时停止播报并识别用户接下来要说的话，但整个对话过程将变得生硬，降低用户体验指数。

通过声音打断容易出现错误。若对话环境中除语音机器人和与之对话的用户之外还有他人或者其它声音，机器人容易把他人的话语识别为用户打断的指令；或者在嘈杂环境中，机器人在杂音干扰下触发了打断流程，会在对话中突然终止播报，这是用户希望规避的。

发明内容

本发明实施例提供一种多模态语音唤醒和打断方法及装置，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种多模态语音唤醒方法，包括：响应于获取到用户的嘴唇轮廓，基于所述用户的嘴唇轮廓的变化判断所述用户是否有交互意图；若有交互意图，获取所述用户的语音信息并进行语音识别处理；基于语音识别处理结果，判断所述语音识别处理结果是否有效；若有效，唤醒设备与所述用户进行语音交互。

第二方面，本发明实施例提供一种多模态语音打断方法，包括：响应于在设备播报过程中持续获取到用户的嘴唇轮廓，基于所述用户的嘴唇轮廓的变化判断所述用户是否有交互意图；若有交互意图，持续获取所述用户的语音信息并持续进行语音识别处理；基于语音识别处理结果，判断所述语音识别处理结果是否有效；若有效，停止播报并等待所述用户停止说话。

第三方面，本发明实施例提供一种多模态语音唤醒装置，包括：第一获取判断程序模块，配置为响应于获取到用户的嘴唇轮廓，基于所述用户的嘴唇轮廓的变化判断所述用户是否有交互意图；第一获取识别程序模块，配置为若有交互意图，获取所述用户的语音信息并进行语音识别处理；第一判断程序模块，配置为基于语音识别处理结果，判断所述语音识别处理结果是否有效；唤醒程序模块，配置为若有效，唤醒设备与所述用户进行语音交互。