[发明专利]人机语音交互的实现方法及装置、电子设备、存储介质

权利要求书

1.一种人机语音交互的实现方法，其特征在于，包括：

采集目标用户的彩色图像以及深度图像；

从所述彩色图像中提取出所述目标用户的人脸关键信息，以及从所述深度图像中提取出所述目标用户的身体姿态信息；

基于所述目标用户的人脸关键信息以及所述目标用户的身体姿态信息，识别所述目标用户是否处于任意一个目标状态；其中，所述目标状态包括目标情绪状态以及极端行为状态；所述目标情绪状态指代指定的不良情绪状态；

若识别出所述目标用户处于任意一个目标状态，则启动语音对话模式，并向指定联系人发送提示信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标用户的人脸关键信息以及所述目标用户的身体姿态信息，识别所述目标用户是否处于任意一个目标状态，包括：

基于所述目标用户的人脸关键信息，识别所述目标用户是否处于所述目标情绪状态，以及基于所述目标用户的身体姿态信息，识别所述目标用户是否处于所述极端行为状态。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标用户的人脸关键信息，识别所述目标用户是否处于所述目标情绪状态，包括：

将所述目标用户的人脸关键信息输入第一神经网络模型中进行计算，得到第一数值；其中，若所述第一数值大于第一预设阈值，则识别出所述目标用户处于所述目标情绪状态；所述第一神经网络模型预先通过在各个指定的不同情绪状态下采集到的人脸关键信息训练得到。

4.根据权利要求2所述的方法，其特征在于，基于所述目标用户的身体姿态信息，识别所述目标用户是否处于所述极端行为状态，包括：

将所述目标用户的身体姿态信息输入第二神经网络模型中进行计算，得到第二数值；其中，若所述第二数值大于第二预设阈值，则识别出所述目标用户处于所述极端行为状态；所述第二神经网络模型预先通过在多个极端行为对应的身体姿态信息训练得到。

5.根据权利要求1所述的方法，其特征在于，所述启动语音对话模式，包括：

输出与所述目标用户所处的目标状态对应的，且在本次对话模式下未输出过的对话语音；

监测在预设时间段内是否接收到所述目标用户的语音；

若在预设时间间隔段内接收到所述目标用户的语音，则输出与所述目标用户的语音对应的，且在本次对话模式下未输出过的对话语音，并返回执行所述监测在预设时间段内是否接收到所述目标用户的语音；

若在预设时间间隔段内未接收到所述目标用户的语音，则返回执行所述输出与所述目标用户所处的目标状态对应的，且在本次对话模式下未输出过的对话语音。

6.一种人机语音交互的实现装置，其特征在于，包括：

采集单元，用于采集目标用户的彩色图像以及深度图像；

提取单元，用于从所述彩色图像中提取出所述目标用户的人脸关键信息，以及从所述深度图像中提取出所述目标用户的身体姿态信息；

识别单元，用于基于所述目标用户的人脸关键信息以及所述目标用户的身体姿态信息，识别所述目标用户是否处于任意一个目标状态；其中，所述目标状态包括目标情绪状态以及极端行为状态；所述目标情绪状态指代指定的不良情绪状态；

语音单元，用于在所述识别单元识别出所述目标用户处于任意一个目标状态时，启动语音对话模式，并向指定联系人发送提示信息。

7.根据权利要求6所述的装置，其特征在于，所述识别单元，包括：

识别子单元，用于基于所述目标用户的人脸关键信息，识别所述目标用户是否处于所述目标情绪状态，以及基于所述目标用户的身体姿态信息，识别所述目标用户是否处于所述极端行为状态。