[发明专利]基于虚拟人的手势交互方法及系统

说明书

本发明提供一种基于虚拟人的手势交互方法，虚拟人通过智能设备展示，在处于交互状态时启动语音、情感、视觉以及感知能力，方法包含以下步骤：通过虚拟人输出多模态数据；接收用户针对多模态数据提供的多模态交互数据；解析多模态交互数据，其中：通过视觉能力检测并提取多模态交互数据中的OK手势动作作为确认交互意图；通过虚拟人按照确认交互意图进行多模态交互输出。本发明提供的虚拟人的手势交互方法及系统提供了一种虚拟人，虚拟人具备预设形象和预设属性，能够与用户进行多模态的交互。并且，本发明还能够通过肢体的OK手势动作判断用户的意图，与用户展开交互，使得用户与虚拟人之间能够进行流畅的交流，并使得用户享受拟人的交互体验。

技术领域

本发明涉及人工智能领域，具体地说，涉及一种基于虚拟人的手势交互方法及系统。

背景技术

机器人聊天交互系统的开发致力于模仿人类对话。早期应用比较广泛的聊天机器人应用程序包括小i聊天机器人或是苹果手机上的siri聊天机器人等处理所接收到的输入(包括文本或语音)并根据输入做出相应的响应，以试图在上下文之间模仿人类之间的交互。

但是，目前来说，对于虚拟人相关的机器人聊天交互系统的开发还不太完善，尚未出现基于虚拟人的手势交互产品。

因此，本发明提供了一种基于虚拟人的手势交互方法及系统。

发明内容

为解决上述问题，本发明提供了一种基于虚拟人的手势交互方法，所述虚拟人通过智能设备展示，在处于交互状态时启动语音、情感、视觉以及感知能力，所述方法包含以下步骤：

通过所述虚拟人输出多模态数据；

接收用户针对所述多模态数据提供的多模态交互数据；

解析所述多模态交互数据，其中：通过视觉能力检测并提取所述多模态交互数据中的OK手势动作作为确认交互意图；

通过所述虚拟人按照所述确认交互意图进行多模态交互输出。

根据本发明的一个实施例，在通过视觉能力检测到所述OK手势动作时，如果用户的手部动作包含：将食指和大拇指搭成圆圈，其他手指向上伸展的图像数据，则识别所述手部动作为OK手势动作。

根据本发明的一个实施例，还包括：

基于所述虚拟人已经输出的多模态数据将所述确认交互意图识别为同意意图，其中，所述同意意图表示所述虚拟人输出的多模态数据中的内容；

或，

基于所述虚拟人已经输出的多模态数据将所述确认交互意图识别为打断意图，其中，所述打断意图表示用户不想继续与所述虚拟人进行当前话题的交流。

根据本发明的一个实施例，在通过视觉能力检测并提取所述多模态交互数据中的OK手势动作作为确认交互意图的步骤中，还包括：基于所述确认意图存储针对该用户的偏好数据。

根据本发明的一个实施例，所述虚拟人接收来自多个用户的针对所述多模态数据提供的多模态交互数据，识别出所述多个用户中的主要用户，并对所述主要用户的肢体动作进行检测；

或，

采集当前全部或部分用户的肢体动作，按照预设比例确定所述用户的交互意图。

根据本发明的一个实施例，当所述多模态交互数据中包含语音数据或表情数据时，依据所述OK手势动作作为确认交互意图，以上步骤还包含：

检测并提取所述多模态交互数据中的语音数据或表情数据；

解析所述语音数据或所述表情数据，判断所述语音数据或所述表情数据与所述OK手势动作的意图是否符合；

若符合，则根据解析的结果结合所述OK手势动作作为确认交互意图；