[发明专利]免语音唤醒方法、智能设备和计算机可读存储介质

权利要求书

1.一种免语音唤醒方法，其特征在于，包括：

获取嘴部图像序列，从所述嘴部图像序列中提取嘴部特征；

确定所述嘴部特征对应的音素值；

计算所述音素值与设定的唤醒词对应的音素值之间的相似度，当所述相似度大于设定的相似度阈值时，则唤醒智能设备；

所述从所述嘴部图像序列中提取嘴部特征，具体为：

利用2D卷积神经网络从所述嘴部图像序列中提取嘴部运动的空间特征，得到嘴部运动的空间特征信息；

利用1D卷积神经网络从所述嘴部图像序列中提取嘴部运动的时间特征，得到嘴部运动的时域特征信息；

利用多时空信息融合残差网络融合所述时域特征信息和所述空间特征信息，得到融合后的所述嘴部特征；

相应地，确定所述嘴部特征对应的音素值，具体为：

确定融合后的所述嘴部特征对应的音素值。

2.根据权利要求1所述的免语音唤醒方法，其特征在于，所述确定融合后的所述嘴部特征对应的音素值，具体为：

利用融合后的所述嘴部特征，确定因素单元的识别概率结果；

将所述音素单元的识别概率结果输入连接时序分类器，得到音素单元的分类结果；

采用引入注意力机制的解码方法解码所述音素单元的分类结果，得到所述嘴部特征对应的音素值。

3.根据权利要求2所述的免语音唤醒方法，其特征在于，所述利用融合后的所述嘴部特征，确定因素单元的识别概率结果，具体为：

将融合后的所述嘴部特征输入Bi-GRU模型，得到音素单元的识别概率结果。

4.根据权利要求2所述的免语音唤醒方法，其特征在于，所述采用引入注意力机制的解码方法解码所述音素单元的分类结果，得到所述嘴部特征对应的音素值，具体为：

通过注意力得到所述音素单元的分类结果中音素单元每个时刻的隐藏状态；

获取每个所述隐藏状态的得分；

获取注意力的得分；

计算所述隐藏状态的得分与所述注意力的得分的加权和，得到语境向量；

将所述语境向量输入至所述解码器中进行联合训练，得到所述嘴部特征对应的音素值。

5.根据权利要求1~4任一项所述的免语音唤醒方法，其特征在于，所述获取嘴部图像序列，具体为：

获取面部视频图像；

利用人脸检测器，从所述面部视频图像中切割出嘴部图像序列。

6.一种智能设备，其特征在于，包括：

图像获取单元，用于获取嘴部图像序列，并从所述嘴部图像序列中提取出嘴部特征；

音素确定单元，用于确定所述嘴部特征对应的音素值；

唤醒单元，用于计算所述音素值与设定的唤醒词对应的音素值之间的相似度，当所述相似度大于设定的相似度阈值时，则唤醒智能设备；

所述图像获取单元包括视频采集模块、图像序列确定模块、空间特征提取模块、时域特征提取模块和融合模块；

所述视频采集模块，用于获取面部视频图像；

所述图像序列确定模块，用于利用人脸检测器，从所述面部视频图像中切割出嘴部图像序列；

所述空间特征提取模块，用于利用2D卷积神经网络从所述嘴部图像序列中提取嘴部运动的空间特征，得到嘴部运动的空间特征信息；

所述时域特征提取模块，用于利用1D卷积神经网络从所述嘴部图像序列中提取嘴部运动的时间特征，得到嘴部运动的时域特征信息；

所述融合模块，用于利用多时空信息融合残差网络融合所述时域特征信息和所述空间特征信息，得到融合后的所述嘴部特征；

相应地，所述音素确定单元，用于确定所述嘴部特征对应的音素值，具体为：

所述音素确定单元，用于确定融合后的所述嘴部特征对应的音素值。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1~5任一项所述方法的步骤。