[发明专利]机器人视频交互方法和系统

权利要求书

1.一种机器人视频交互方法，包括：

监测场景中的用户动作和语音；

对用户动作和语音进行分析以识别场景；

基于用户动作和语音预测用户意图；

判断场景中进行交互的时机；

在判断到的交互时机提供用户意图的解决方案并将解决方案反馈给用户，

其中，场景被分类为多个场景，不同的场景具有不同的策略，策略包括基线、时机判断、时机调整，其中，场景包括聊天类场景、提示类场景、固定程序类场景、固定行为类场景，

其中，基线表示检测交互时机的关键特征，时机判断表示影响交互时机的一般特征，时机调整表示由于影响用户体验而调整交互时机的特征，

其中，针对聊天类场景，基线包括动作意图、询问性语句，时机判断包括动作意图、中断时间、语音频率，时机调整包括用户情绪、用户表情、用户数量、用户特征，

其中，针对提示类场景，基线包括动作意图、提示库，时机判断包括动作意图、中断时间，

其中，针对固定程序类场景，时机判断包括动作意图、游戏进程，时机调整包括用户数量，

其中，针对固定行为类场景，基线包括动作意图、运动库，时机判断包括动作意图。

2.根据权利要求1所述的机器人视频交互方法，其中，对用户动作和语音进行分析的步骤包括：对监测的用户动作和语音进行分离，以分别对用户动作和语音进行分析。

3.根据权利要求2所述的机器人视频交互方法，其中，对用户动作和语音进行分析以识别场景的步骤包括：采用LRCN算法模型对用户动作进行分析，采用CNN提取用户的面部特征以识别用户的情绪。

4.根据权利要求3所述的机器人视频交互方法，其中，识别的场景为所述多个场景之一。

5.根据权利要求4所述的机器人视频交互方法，其中，基于用户动作和语音预测用户意图包括采用PredNet模型预测用户下一步的动作和语音。

6.根据权利要求5所述的机器人视频交互方法，其中，判断场景中进行交互的时机的步骤包括：使用随机森林模型判断与用户进行交互的时机。

7.根据权利要求6所述的机器人视频交互方法，其中，使用随机森林模型判断与用户进行交互的时机的步骤包括：根据用户动作和语音的频率、用户动作和语音的中断时间来判断与用户进行交互的时机。

8.根据权利要求7所述的机器人视频交互方法，其中，使用随机森林模型判断与用户进行交互的时机的步骤包括：当用户动作的频率小于预定阈值并且用户动作的中断时间大于时间阈值或者用户语音的频率小于预定阈值并且用户语音的中断时间大于时间阈值时，判断需要与用户进行交互。

9.根据权利要求7所述的机器人视频交互方法，其中，使用随机森林模型判断与用户进行交互的时机的步骤包括：当用户动作的频率大于预定阈值时，判断需要与用户进行交互。

10.根据权利要求1所述的机器人视频交互方法，其中，以视频推荐、语音提示、音乐播放、图片展示的形式将用户意图的解决方案反馈给用户。