[发明专利]一种多通道沉浸式流场可视化人机交互方法

说明书

本发明公开了一种多通道沉浸式流场可视化人机交互方法，通过多种交互方式将输入信息送入交互器中，分别进行相应的交互识别工作，并完成界面或可视化结果交互，其中多种交互方式包括手势交互、手柄交互和凝视交互。本发明在流场可视化应用中采用多通道交互方式高效完成复杂的流场可视化交互需求，将手势、手柄和凝视三种交互方式有机结合，弥补了单一通道交互方式的弊端，提升了交互的效率。

技术领域

本发明涉及交互式流场可视化技术领域，尤其涉及一种多通道沉浸式流场可视化人机交互方法。

背景技术

流场可视化作为面向计算流体动力学(CFD)的科学计算可视化技术，是科学计算可视化研究和CFD研究的一个重要部分，流场可视化借助计算机图形学、数据挖掘和人机交互理论，将描绘流场运动轨迹的多变量、多维度、多源、多模态物理量数据以图形图像的形式直观呈现出来，并借助交互式图形系统，从大量纷繁复杂的数据中提取有价值的信息，帮助研究人员分析和理解复杂的流场流动机理，洞察流场物理现象并发现流动科学规律，为数值模拟计算和重大工程提供意见指导和决策依据。

虚拟现实技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。虚拟现实技术在流场可视化中的应用研究开始于上世纪90年代，但受制于当时硬件的性能与成本问题其应用范围一直较小，随着虚拟现实技术与流场可视化技术的并行发展，尤其是2015年以来头戴式虚拟现实设备技术的逐步成熟，在虚拟现实环境下对流场数据进行可视化的方法正逐渐被广泛运用。沉浸式虚拟环境下的流场可视化与传统显示方式下的流场可视化相比，沉浸式分析以虚拟现实环境为呈现平台，通过多感官呈现、分析数据物理化、自然人机界面和直觉反馈分析等技术特点为用户构建高沉浸度的数据分析环境，在空间沉浸感、用户参与度、多维感知等方面具有分析优势。

在国内的可视化领域中，虚拟现实技术在医学可视化方面的应用研究较多，论文《基于游标模型的沉浸式医学可视化非接触式手势交互方法》(雷金树、王松、朱东、吴亚东，计算机辅助设计与图形学学报，2019，31(02):208-217)，其交互系统的实现方法具体步骤如下：

(1)从手势传感器获得手势姿态信息，根据手势姿态信息建立虚拟手势模型。

(2)设计了4种手势以实现位移、缩放、旋转以及剖切4种操作，根据由手部中心发出垂直于手掌平面的射线来选中交互目标。当单手握拳时，沉浸式环境中被选中的3D图像会随着手的移动改变位置。而双手握拳时，选中的3D图像会随着双手中心点的移动改变位置，随着双手之间距离的变化调整大小，随着双手相对位置的变化调整方向。当单手张开时，对3D图像进行平面切割操作，平面由手掌在沉浸式环境中的位置和方向确定。

(3)利用游标模型确定手势的状态，游标内保存了最近的3个手势，系统根据这3个手势所代表的操作可以确定此时位于交互的哪一个阶段，即手势的状态，通过手势识别可以得到一组不断更新的手势操作序列。

(4)根据手势的姿态计算手势事件序号，调用相应序号的交互事件；根据手势的状态调用交互事件的对应状态，从而完成整个交互功能。

在高度沉浸式的虚拟现实环境中，由于用户的整体视觉空间被渲染的可视化映射结果所覆盖，传统鼠标、键盘以及触控屏幕等交互方式无法直接应用到沉浸式环境下。而现有的沉浸式人机交互系统绝大多数采用了单一的手柄交互、凝视交互或手势交互，主要适用于较为简单的软件系统，在交互的广度上很难高效满足流场可视化用户系统性的交互需求，在交互的深度上不支持流场可视化的全流程、沉浸式交互。

例如，手柄交互因交互手柄的限制无法完全模拟人的手，降低了交互的沉浸感；凝视交互因人类视线只能提供方向信息，交互效率较低，只能满足最简单的交互需求；手势交互根据实现方式不同一般分为数据手套和光学识别两种方式，采用数据手套的方式存在成本昂贵的问题，目前较为常见的光学识别方式存在识别范围狭小以及手势抖动的问题。

发明内容