[发明专利]一种基于增强现实的交互显示装置及其交互显示方法

权利要求书

1.一种基于增强现实的交互显示方法，其特征在于：所述方法包括以下步骤：

步骤1：检测并显示当前视觉感知单元采集到的原始视频；跟踪目标对象；若持续跟踪到该目标对象的时间大于t₁，则进行步骤2，否则重复执行步骤1；t₁的取值范围为[1,3]，单位为秒；

步骤2：对从声音输入输出单元采集的语音进行识别，根据识别的语音指令选择增强现实模式并进行步骤3；

步骤3：手势识别模块使用基于人体骨骼数据的快速手势识别方法检测挥手动作和握拳动作，包括获取最新一帧人体骨骼数据HSD₁的右小臂轴节点A₁(X_a1,Y_a1,Z_a1)、右肩节点S₁(X_s1,Y_s1,Z_s1)、右手掌中心节点H₁(X_h1,Y_h1,Z_h1)和右手掌指尖点F₁(X_f1,Y_f1,Z_f1)，将以节点H₁与节点F₁之间的欧氏距离为半径所组成圆的面积记为C₁，将以节点A₁、节点S₁和节点H₁所围成三角形的面积记为T₁；经过时间t之后，再获取最新一帧人体骨骼数据HSD₂的右小臂轴节点A₂(X_a2,Y_a2,Z_a2)、右肩节点S₂(X_s2,Y_s2,Z_s2)、右手掌中心节点H₂(X_h2,Y_h2,Z_h2)和右手掌指尖点F₂(X_f2,Y_f2,Z_f2)，将以节点H₂与节点F₂之间的欧氏距离为半径所围成圆的面积记为C₂，将以节点A₂、节点S₂和节点H₂所围成三角形的面积记为T₂；最后判断手势类型，若三角形面积T₂和三角形面积T₁满足T₂α×T₁，则判定为挥手手势；若圆的面积C₂和圆的面积C₁满足C₂β×C₁，则判定为握拳手势；其中t的取值范围为[0.5,2]，单位为秒，α取值范围为[0.5,0.9]，β的取值范围为[0.2,0.8]；

将手势识别对应的虚拟物体切换指令发送给虚拟物体叠加模块叠加虚拟效果，若跟踪到当前目标对象且有新的语音指令，则返回步骤2，否则若跟踪到当前目标对象且无新的语音指令，则重复执行当前步骤3，其它情况，执行步骤4；

步骤4：结束增强现实交互显示。

2.根据权利要求1所述的一种基于增强现实的交互显示方法，其特征在于：所述步骤1中，目标定位模块使用深度卷积神经网络模型对视觉感知单元采集的彩色视频图像进行人形目标的检测；利用采集的深度图像选取距离视觉感知单元最近的人形目标作为目标对象。

3.根据权利要求1所述的一种基于增强现实的交互显示方法，其特征在于：所述步骤2中，增强现实模式包括面部增强模式、手部增强模式和环境增强模式，所述步骤3中的虚拟效果包括分别对应面部增强模式、手部增强模式和环境增强模式的虚拟面部效果、虚拟手部效果和虚拟环境效果。