[发明专利]智能设备唤醒方法、智能设备和计算机可读存储介质

权利要求书

1.一种智能设备唤醒方法，其特征在于，包括：

获取语音指令信号，确定所述语音指令信号对应的第一音素值；

获取发出所述语音指令信号的人的嘴部图像序列，确定所述嘴部图像序列对应的第二音素值；

分别计算所述第一音素值和所述第二音素值与设定的唤醒词对应的音素值之间的相似度，当至少有一个所述相似度大于设定的相似度阈值时，则唤醒智能设备。

2.根据权利要求1所述的智能设备唤醒方法，其特征在于，所述获取语音指令信号，具体为：

获取当前环境不含所述语音指令信号的噪音数据；

获取当前环境包含所述语音指令信号的人声数据；

根据所述噪音数据和所述人声数据确定所述语音指令信号。

3.根据权利要求2所述的智能设备唤醒方法，其特征在于，所述根据所述噪音数据和所述人声数据确定所述语音指令信号，具体为：

利用短时傅里叶变换处理所述噪音数据，得到处理后的噪音频域信号；

利用短时傅里叶变换处理所述人声数据，得到处理后的人声频域信号；

根据所述噪音频域信号和所述人声频域信号确定所述语音指令信号对应的频域信号；

相应地，确定所述语音指令信号对应的第一音素值，具体为：

确定所述语音指令信号对应的频域信号对应的第一音素值。

4.根据权利要求3所述的智能设备唤醒方法，其特征在于，所述根据所述噪音频域信号和所述人声频域信号确定所述语音指令信号对应的频域信号，具体为：

利用第一公式确定所述语音指令信号对应的频域信号，所述第一公式为：

式中，是帧索引，是频率索引，且是所述短时傅里叶变换的点数，为滤波器系数；

其中为步长调节因子，表示共轭，是的历史缓存值，ORD为所述缓存值的帧数。

5.根据权利要求1~4任一项所述的智能设备唤醒方法，其特征在于，所述确定所述嘴部图像序列对应的第二音素值，具体为：

从所述嘴部图像序列中提取嘴部特征；

利用所述嘴部特征，确定因素单元的识别概率结果；

将所述音素单元的识别概率结果输入连接时序分类器，得到音素单元的分类结果；

采用引入注意力机制的解码方法解码所述音素单元的分类结果，得到所述嘴部图像序列对应的第二音素值。

6.根据权利要求5所述的智能设备唤醒方法，其特征在于，所述从所述嘴部图像序列中提取嘴部特征，具体为：

利用2D卷积神经网络从所述嘴部图像序列中提取嘴部运动的空间特征，得到嘴部运动的空间特征信息；

利用1D卷积神经网络从所述嘴部图像序列中提取嘴部运动的时间特征，得到嘴部运动的时域特征信息；

利用多时空信息融合残差网络融合所述时域特征信息和所述空间特征信息，得到融合后的所述嘴部特征；

相应地，利用所述嘴部特征，确定因素单元的识别概率结果，具体为：

利用融合后的所述嘴部特征，确定因素单元的识别概率结果。

7.根据权利要求5所述的智能设备唤醒方法，其特征在于，所述利用所述嘴部特征，确定因素单元的识别概率结果，具体为：

将所述嘴部特征输入Bi-GRU模型，得到音素单元的识别概率结果。

8.根据权利要求5所述的智能设备唤醒方法，其特征在于，所述采用引入注意力机制的解码方法解码所述音素单元的分类结果，得到所述嘴部图像序列对应的第二音素值，具体为：

通过注意力得到所述音素单元的分类结果中音素单元每个时刻的隐藏状态；

获取每个所述隐藏状态的得分；

获取注意力的得分；

计算所述隐藏状态的得分与所述注意力的得分的加权和，得到语境向量；

将所述语境向量输入至所述解码器中进行联合训练，得到所述嘴部图像序列对应的第二音素值。