[发明专利]基于全息设备的多模态交互方法及系统

说明书

本发明提供一种基于全息设备的多模态交互方法，其包含以下步骤：虚拟形象在移动设备运行，且虚拟形象具备预设形象特征和预设属性，通过移动设备和/或全息设备获取多模态输入数据，多模态输入数据可包含用户生物特征；当捕捉到成像操作，或，将多模态输入数据传送至云端大脑解析以及计算，以在移动设备生成成像事件，并由移动设备控制全息设备显示虚拟形象的全息影像，以便与用户进行多模态交互。本发明提供的基于全息设备的多模态交互方法及系统能够通过全息设备将虚拟形象的影像转化为全息影像，并显示出来，并且，本发明能够通过移动设备、全息设备以及云端大脑的配合与用户进行多模态的交互。

技术领域

本发明涉及人工智能领域，具体地说，涉及一种基于全息设备的多模态交互方法及系统。

背景技术

移动设备成像技术在目前已经非常成熟，现在市场上的移动设备很多都具备成像功能，能够把人物以及景色等景象显示在屏幕上，并且，随着技术的发展，成像的清晰度也越来越高。

但是，目前来说，移动设备成像的发展还不太完善，尚未出现移动设备与用户之间通过虚拟形象来进行多模态交互的产品。

因此，本发明提供了一种基于全息设备的多模态交互方法及系统。

发明内容

为解决上述问题，本发明提供了一种基于全息设备的多模态交互方法，所述方法包含以下步骤：

虚拟形象在移动设备运行，且所述虚拟形象具备预设形象特征和预设属性，通过所述移动设备和/或全息设备获取多模态输入数据，所述多模态输入数据可包含用户生物特征；

当捕捉到成像操作，或，将所述多模态输入数据传送至云端大脑解析以及计算，以在所述移动设备生成成像事件，并由所述移动设备控制所述全息设备显示所述虚拟形象的全息影像，以便与用户进行多模态交互。

根据本发明的一个实施例，所述多模态输入数据包括：

用户通过所述移动设备和/或所述全息设备输入的生物特征信息；或，

所述移动设备获取的针对运行所述虚拟形象的程序的开启信号；或，

所述全息设备获取的开关信号。

根据本发明的一个实施例，还包括：

通过所述云端大脑解析以及计算所述多模态输入数据，以决策生成多模态输出数据，且通过所述移动设备控制输出所述多模态输出数据，及所述全息影像输出所述多模态输出数据中的展示数据。

根据本发明的一个实施例，生成成像事件可由如下方式实现：

针对运行所述虚拟形象的程序开启；或，

所述虚拟形象被唤醒；或，

所述移动设备发生与成像事件关联的系统事件。

根据本发明的一个实施例，在由所述移动设备控制所述全息设备显示所述虚拟形象的全息影像步骤前包含以下步骤：

检查无线连接成功；以及，

所述全息设备得电；以及，

所述移动设备与所述全息设备绑定成功；以及，

确保所述全息设备与所述移动设备连接成功。

根据本发明的一个实施例，还包括：

在所述全息设备显示所述虚拟形象的全息影像的同时，开启所述全息设备的成像辅助部件。

根据本发明的另一个方面，还提供了一种程序产品，其包含用于执行如上所述的方法步骤的一系列指令。

根据本发明的另一个方面，还提供了一种基于全息设备的多模态交互系统，所述系统包含：