[发明专利]一种基于全息的多模态交互系统及方法

说明书

本发明提供一种基于全息的多模态交互系统，其包含：移动设备，装载并运行虚拟形象，移动设备配置多模态交互模块，并与云端大脑互联，通过云端大脑解析及计算，以生成及控制输出多模态输出数据；成像设备，其用于将特定虚拟形象转化为全息影像，以将全息影像显示在预设区域，并输出全息影像及多模态输出数据中的展示数据；支撑体，其用于承载移动设备以及成像设备。本发明提供了一种基于全息的多模态交互系统及方法能够将移动设备上的虚拟形象转换为全息影像后显示出来。并且，本发明还能够通过移动设备与成像设备配合的系统与用户展开生动虚拟形象的多模态交互。

技术领域

本发明涉及人工智能领域，具体地说，涉及一种基于全息的多模态交互系统及方法。

背景技术

移动设备成像技术在目前已经非常成熟，现在市场上的移动设备很多都具备成像功能，能够把人物以及景色等景象显示在屏幕上，并且，随着技术的发展，成像的清晰度也越来越高。但是，移动设备的成像具有一定的局限性，比如，受限于移动设备的硬件配置，成像效果不具备全息投影效果，亦或是由于移动设备功能配置的局限，移动设备与使用者之间信息交互的方式不够丰富等。

因此，本发明提供了一种具备全息成像功能并且能够进行多模态交互的一种基于全息的多模态交互系统及方法。

发明内容

为解决上述问题，本发明提供了一种基于全息的多模态交互系统，所述系统包含：

移动设备，装载并运行虚拟形象，所述移动设备配置多模态交互模块，并与云端大脑互联，通过所述云端大脑解析及计算，以生成及控制输出多模态输出数据；

成像设备，其用于将所述虚拟形象转化为全息影像，以将所述全息影像显示在预设区域，并呈现所述全息影像及多模态输出数据中的展示数据；

支撑体，其用于承载所述移动设备以及所述成像设备。

根据本发明的一个实施例，所述移动设备配置多模态交互模块包含：

接收模块，其用于接收多模态输入数据及成像设备信号；

处理模块，其与云端大脑互联，用于处理所述多模态输入数据；

输出模块，其与所述处理模块连接，并与所述成像设备之间建立通信联系，用于将所述虚拟形象以及所述输出数据传输至所述成像设备。

根据本发明的一个实施例，所述移动设备还包含：

成像显示模块，其与所述输出模块连接，用于控制输出所述虚拟形象以及所述多模态输出数据。

根据本发明的一个实施例，所述多模态交互模块通过声音、手势、按键指令以及视觉输入信号的方式实现控制。

根据本发明的一个实施例，所述成像设备为全息膜以及具有全息成像功能的介质。

根据本发明的一个实施例，所述支撑体包含：

上支撑部，其用于支撑所述移动设备；

下支撑部，其与所述上支撑部连接，用于支撑所述成像设备；

所述移动设备与所述成像设备物理位置参照对齐，以实现所述移动设备与所述成像设备的信号互联。

根据本发明的另一个方面，还提供了一种基于全息的多模态交互方法，所述方法包含以下步骤：

通过移动设备获取多模态输入数据，与云端大脑互联，通过所述云端大脑解析及计算，以生成及控制输出多模态输出数据，所述移动设备装载并运行虚拟形象；

通过成像设备将所述虚拟形象转化为全息影像，以将所述全息影像显示在预设区域，并呈现所述全息影像及多模态输出数据中的展示数据。