[发明专利]一种基于混合现实的多机联合交互头戴式智能装备

权利要求书

1.一种基于混合现实的多机联合交互头戴式智能装备，包括眼镜状的装备本体(1)，其特征在于：装备本体(1)的腿部连接有耳机(7)，装备本体(1)正中央朝向人脸的后方一侧内嵌有内置摄像头(5)，装备本体(1)朝外的前方一侧左、中、右内嵌有三个外置高清摄像头(4)，装备本体(1)右侧壳体内部设置处理器(3)，装备本体(1)左侧壳体内嵌锂离子电池(9)，装备本体(1)左侧壳体朝上设置有Type-C充电数据接口(10)，处理器(3)以及锂离子电池(9)的下方装备本体(1)壳体设置了对称的麦克风(6)以及混合现实组件(2)；放置锂离子电池(9)的装备本体(1)的壳体上方设有电量指示灯(11)；

所述的装备本体(1)的壳体上端右侧设有智能照明模块，智能照明模块包括照明外壳(15)，照明外壳(15)连接在装备本体(1)的壳体上端右侧，照明外壳(15)内连接有万向节(13)，万向节(13)外侧连接有照明灯(12)，照明灯(12)通过两个微型超声电机(14)与平面连杆机构自适应地调整照射方向，FOV 90°，照明灯(12)的照射方向由内置摄像头(5)对眼球视线的跟踪反馈结果所确定；

所述的装备本体(1)的壳体内设有WiFi模块、GPS模块、九轴IMU传感器(8)和对讲机模组；

所述的WiFi模块、GPS模块、九轴IMU传感器(8)、对讲机模组、麦克风(6)、耳机(7)、混合现实组件(2)、微型超声电机(14)均与处理器(3)电连接。

2.根据权利要求1所述的一种基于混合现实的多机联合交互头戴式智能装备，其特征在于：所述的处理器(3)为树莓派微型主机，采用瑞芯微RK3288。

3.根据权利要求1所述的一种基于混合现实的多机联合交互头戴式智能装备，其特征在于：所述的耳机(7)设置在装备本体(1)位于人耳位置的一侧，由弹性材料与装备本体(1)固定连接。

4.根据权利要求1所述的一种基于混合现实的多机联合交互头戴式智能装备，其特征在于：所述装备本体(1)壳体后方一侧设有通过螺钉装配而成的后盖，且后盖由四个螺钉拧紧。

5.根据权利要求1所述的一种基于混合现实的多机联合交互头戴式智能装备，其特征在于：工作时，首先通过GPS模块和眼动追踪技术定位视野所捕捉到的设备，并应用机器视觉对设备及其型号进行识别；在多机同时操作的情况下，多机之间首先通过WiFi模块确认所识别的设备是否一致，当确认一致后，位于中间部位的高清摄像头(4)对本机交互手势进行识别，同时左、右两侧的高清摄像头(4)对周围人员的交互手势进行识别，实时更新至处理器(3)中，并通过混合现实组件(2)显示在工程人员的视野范围内，同时多机之间或通过对讲机模组进行语音上的交流。

6.根据权利要求5所述的一种基于混合现实的多机联合交互头戴式智能装备，其特征在于：所述的手势识别包括单目视觉法手势分割+指关节跟踪法手势分析+基于神经网络的手势识别。

7.根据权利要求1所述的一种基于混合现实的多机联合交互头戴式智能装备，其特征在于：在夜间工作时，工程人员通过内置摄像头(5)对双目的图像进行采集，然后将图像传送至处理器(3)，处理器(3)对图像进行裁剪、去噪初步处理后发送到图像识别工作站，图像识别工作站将得到的图像输入到深度学习图像识别模型中，从而追踪得到眼球视野位置，并通过控制两个微型超声电机(14)以及与其相连的平面连杆机构，改变万向节(13)末端照明灯(12)的姿态，从而达到照明位置与眼球视野所至位置匹配的功能。