[发明专利]机器人视频交互方法和系统

说明书

公开了一种机器人视频交互方法和系统。所述机器人视频交互方法包括：监测场景中的用户动作和语音；对用户动作和语音进行分析以识别场景；基于用户动作和语音预测用户意图；判断场景中进行交互的时机；在判断到的交互时机提供用户意图的解决方案并将解决方案反馈给用户。本公开的方法解决了用户行为场景中智能视频系统只会无交互性的服从用户指令的问题，拓展了智能视频系统的应用场景，提升了智能视频系统的使用体验。

技术领域

本公开涉及计算机技术领域。更具体地，本公开涉及一种机器人视频交互方法和系统。

背景技术

在传统的方法中，机器人通常需要被动唤醒去完成特定的任务，例如商场的导航机器人需要人们唤醒，根据人们的指令进行导航服务，即机器人需要被人们主动唤醒，然后被动地接受指令完成任务，无主动参与性，也就是说，传统的机器人交互只能提供被动反馈，不能满足自然交互的要求；另外，即使是在单纯的视频交互的场景中，也是视频监控拍到用户视频，进行特定时刻特定行为分析，智能交互还停留在基于静态特征的单场景环境中，很少涉及场景的关联行为分析，而且也没有把动作行为等动态特征以及它们之间的关联性做结构化的处理而形成上下文的理解以主动与用户做出交互；此外，当前的主动交互系统在时序判断方面表现不佳，其“不及时”的反馈通常会导致不良的用户体验。

公开内容

本公开的一个方面在于提供一种机器人视频交互方法，解决了用户行为场景中智能视频系统只会无交互性的服从用户指令的问题，拓展了智能视频系统的应用场景，提升了智能视频系统的使用体验。

在一个总的方面，提供一种机器人视频交互方法，包括：监测场景中的用户动作和语音；对用户动作和语音进行分析以识别场景；基于用户动作和语音预测用户意图；判断场景中进行交互的时机；在判断到的交互时机提供用户意图的解决方案并将解决方案反馈给用户。

可选地，对用户动作和语音进行分析的步骤包括：对监测的用户动作和语音进行分离，以分别对用户动作和语音进行分析。

可选地，对用户动作和语音进行分析以识别场景的步骤包括：采用LRCN算法模型对用户动作进行分析，采用CNN提取用户的面部特征以识别用户的情绪。

可选地，场景被分类为多个场景，并且识别的场景为所述多个场景之一。

可选地，基于用户动作和语音预测用户意图包括采用PredNet模型预测用户下一步的动作和语音。

可选地，判断场景中进行交互的时机的步骤包括：使用随机森林模型判断与用户进行交互的时机。

可选地，使用随机森林模型判断与用户进行交互的时机的步骤包括：根据用户动作和语音的频率、用户动作和语音的中断时间来判断与用户进行交互的时机。

可选地，使用随机森林模型判断与用户进行交互的时机的步骤包括：当用户动作的频率小于预定阈值并且用户动作的中断时间大于时间阈值或者用户语音的频率小于预定阈值并且用户语音的中断时间大于时间阈值时，判断需要与用户进行交互。

可选地，使用随机森林模型判断与用户进行交互的时机的步骤包括：当用户动作的频率大于预定阈值时，判断需要与用户进行交互。

可选地，以视频推荐、语音提示、音乐播放、图片展示的形式将用户意图的解决方案反馈给用户。

在另一个总的方面，提供一种机器人视频交互系统，包括：监测模块，被配置为监测场景中的用户动作和语音；分析模块，被配置为对用户动作和语音进行分析以识别场景；预测模块，被配置为基于用户动作和语音预测用户意图；时机判断模块，被配置为判断场景中进行交互的时机；反馈模块，被配置为在判断到的交互时机提供用户意图的解决方案并将解决方案反馈给用户。

在另一总的方面，提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时实现如上所述的机器人视频交互方法。