[发明专利]基于虚拟人的手势交互方法及系统

权利要求书

1.一种基于虚拟人的手势交互方法，其特征在于，所述虚拟人通过智能设备展示，在处于交互状态时启动语音、情感、视觉以及感知能力，所述方法包含以下步骤：

通过所述虚拟人输出多模态数据；

接收用户针对所述多模态数据提供的多模态交互数据；

解析所述多模态交互数据，其中：通过视觉能力检测并提取所述多模态交互数据中的OK手势动作作为确认交互意图；

通过所述虚拟人按照所述确认交互意图进行多模态交互输出。

2.如权利要求1所述的基于虚拟人的手势交互方法，其特征在于，在通过视觉能力检测到所述OK手势动作时，如果用户的手部动作包含：将食指和大拇指搭成圆圈，其他手指向上伸展的图像数据，则识别所述手部动作为OK手势动作。

3.如权利要求1所述的基于虚拟人的手势交互方法，其特征在于，还包括：

基于所述虚拟人已经输出的多模态数据将所述确认交互意图识别为同意意图，其中，所述同意意图表示所述虚拟人输出的多模态数据中的内容；

或，

基于所述虚拟人已经输出的多模态数据将所述确认交互意图识别为打断意图，其中，所述打断意图表示用户不想继续与所述虚拟人进行当前话题的交流。

4.如权利要求1所述的基于虚拟人的手势交互方法，其特征在于，在通过视觉能力检测并提取所述多模态交互数据中的OK手势动作作为确认交互意图的步骤中，还包括：基于所述确认意图存储针对该用户的偏好数据。

5.如权利要求1-4中任一项所述的基于虚拟人的手势交互方法，其特征在于，所述虚拟人接收来自多个用户的针对所述多模态数据提供的多模态交互数据，识别出所述多个用户中的主要用户，并对所述主要用户的肢体动作进行检测；

或，

采集当前全部或部分用户的肢体动作，按照预设比例确定所述用户的交互意图。

6.如权利要求1-4中任一项所述的基于虚拟人的手势交互方法，其特征在于，当所述多模态交互数据中包含语音数据或表情数据时，依据所述OK手势动作作为确认交互意图，以上步骤还包含：

检测并提取所述多模态交互数据中的语音数据或表情数据；

解析所述语音数据或所述表情数据，判断所述语音数据或所述表情数据与所述OK手势动作的意图是否符合；

若符合，则根据解析的结果结合所述OK手势动作作为确认交互意图；

若不符合，则所述OK手势动作作为确认交互意图。

7.如权利要求1-4中任一项所述的基于虚拟人的手势交互方法，其特征在于，当通过视觉能力检测到用户的OK手势动作以及面部和头部动作时，优先以所述面部和头部动作作为确认交互意图。

8.一种程序产品，其包含用于执行如权利要求1-7中任一项所述的方法步骤的一系列指令。

9.一种虚拟人，其特征在于，所述虚拟人具备特定的虚拟形象和预设属性，采用如权利要求1-7中任一项所述的方法进行多模态的交互。

10.一种基于虚拟人的手势交互系统，其特征在于，所述系统包含：

智能设备，其上装载有如权利要求9所述的虚拟人，用于获取多模态交互数据，并具备自然语言理解、视觉感知、触摸感知、语言语音输出、情感表情动作输出的能力；

云端大脑，其用于对所述多模态交互数据进行语义理解、视觉识别、认知计算以及情感计算，以决策所述虚拟人的输出多模态交互数据。