[发明专利]一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调

说明书

本发明提供了一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调，通过视觉传感器实时检测当前环境的人物人体信息,利用神经网络算法分析判断人物是否有意启动对应的智能家电,若判断为有意启动对应的智能家电,则通过语音传感器检测语音信息并判断是否为控制指令，若判断语音为控制指令则进行声源定位判断发声位置是否与人物位置重合,若判断为位置重合,则唤醒对应的智能家电。智能家电结合图像识别技术，通过图像识别检测用户的特征信息，并进行声源定位，判别用户控制家电并简化语音控制唤醒及目标指代指令，提升了用户的无感交互体验，语音交互更流程自然。

技术领域

本发明涉及语音唤醒技术领域，具体涉及一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调。

背景技术

目前随着人工智能领域的迅速发展以及人们对智能监控、智能家居及新型人机交互的需求日益提升。目前市面上的智能语音音箱已经遍地开花，语音交互技术已经较为成熟，语音交互应用于家电产品也逐渐增多，如语音空调。基于图像无感交互技术在家电行业的应用也渐渐地出现，图像技术结合语音控制的控制迎来新的机遇。通常我们控制语音空调（或语音智能设备），每次发出语音控制指令之前都需要进行先唤醒的操作，发出语音唤醒词控制指令，待唤醒后才开始控制指令的识别操作，每次操作都需要唤醒。

发明内容

针对现有技术的不足，本发明提出了一种基于视觉的免唤醒语音识别方法，通过结合图像识别技术进行免唤醒直接语音空调，提升用户的交互体验。

为实现上述目的，本发明采用如下技术方案：

一种基于视觉的免唤醒语音识别方法，通过视觉传感器实时检测当前环境的人物人体信息,利用神经网络算法分析判断人物是否有意启动对应的智能家电,若判断为有意启动对应的智能家电,则通过语音传感器检测语音信息并判断是否为控制指令，若判断语音为控制指令则进行声源定位判断发声位置是否与人物位置重合,若判断为位置重合,则唤醒对应的智能家电。智能家电结合图像识别技术，通过图像识别检测用户的特征信息，并进行声源定位，判别用户控制家电并简化语音控制唤醒及目标指代指令，提升了用户的无感交互体验，语音交互更流程自然。

进一步的，所述通过视觉传感器实时检测当前环境的人物人体信息具体为：通过双目摄像头实时检测可视区域人物脸部和头部的动态信息，脸部的动态信息具体包括眼睛状态信息和嘴部动态信息。通过检测的眼睛状态信息和嘴部动态信息可以直观直接反映用户当前的意图，提高判断的准确率，降低误唤醒的几率。

进一步的，所述利用神经网络算法分析判断人物是否有意启动对应的智能家电具体为：检测并识别人物头部方向和仰角、脸部的方向和仰角、瞳孔眼珠占位比，通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电；若用户是在注视目标智能家电，则判断人物嘴部是否处于运动发声状态，若人物嘴部处于运动发声状态，则判断人物有意启动目标智能家电。先通过头部和脸部的信息判断是否处于注视智能家电状态，再检测嘴部动作进入唤醒操作，双目摄像头检测到人脸时即刻开启检测嘴部状态，通过循环记忆神经网络匹配算法模型识别嘴部动作，使得设备能够更准确地识别到用户将要控制设备，进入免唤醒，降低误判率。

进一步的，所述通过深度学习循环神经网络识别判断人物是否正在注视目标智能家电具体为：将获取到的人物脸部图像进行平滑去噪预处理，再进行图像特征提取，将图像信息通过模板分类器处理，与预设正脸图像进行算法比对处理，判断人脸图像偏置角度是否满足上下左右偏置角度在正负y°以内，若满足则确定用户正在注视目标智能家电，其中y为预设角度值。设置的图像偏置角度可以有效解决了图像正脸识别的识别率问题，有效地避免高误识别率问题，提高识别率。

进一步的，所述进行声源定位判断发声位置是否与人物位置重合具体为：若检测发声位置与人物位置不重合，则判断检测到的语音是否为语音唤醒词，若判断为语音唤醒词，则唤醒对应的智能家电；若判断不是语音唤醒词，则不唤醒智能家电。通过声源定位和语音唤醒词的结合提供了唤醒的双层保证，避免由于位置的问题导致唤醒失败，提高了正确唤醒的准确率。