[发明专利]机载智能眼镜设备及基于该设备的飞机控制方法

说明书

本发明公开了一种机载智能眼镜设备，其包括摄像头和智能眼镜，智能眼镜包括控制部件和电子成像眼镜片，控制部件与电子成像眼镜片、摄像头交互连接；控制部件根据摄像头拍摄到的飞行监控画面结合知识图谱对监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至电子成像眼镜片上进行信息展示。本发明设备利用知识图谱、图像识别等技术，相对于为飞行员搭载了一个经验丰富的随身飞行教练，当出现问题时，智能眼镜可以第一时间准确判断问题点，并给出最优的处理方案建议。与此同时，智能眼镜中的摄像头及麦克风在飞行员操作飞机时，给了手势控制和声音控制的多种选择，这种多模态的交互方式降低了飞行员操作难度，让飞行更加安全。

技术领域

本发明涉及飞机设备技术领域，尤其涉及一种机载智能眼镜设备及基于该设备的飞机控制方法。

背景技术

飞行员在飞行过程中，需要同时监控机舱内几十种仪表，并根据仪表数据和塔台给出的信息进行任务执行。由于飞机上仪表非常多，在执行一些较复杂任务的过程中，需要飞行员对仪表盘中的信息有非常高的判断能力和执行能力，如无法第一时间预判问题，或出现问题没有第一时间执行正确操作，将会对飞行任务产生重大影响。

目前在战斗机的实际飞行操作中，异常情况的处理完全由飞行员基于经验进行操作，缺乏系统的智能化支持，且在紧急情况下，飞行员在仓内行动受限，双手无法离开操纵杆，不能去执行较为丰富的指令。

发明内容

针对上述现有技术中存着的不足之处，本发明提出了一种机载智能眼镜设备及基于该设备的飞机控制方法，可以辅助飞行员进行飞机控制，降低飞行员的操作难度，让飞行更加安全。

本发明实施例提供一种机载智能眼镜设备，所述设备包括摄像头和智能眼镜，所述智能眼镜包括控制部件和电子成像眼镜片，所述控制部件与所述电子成像眼镜片、所述摄像头交互连接；所述控制部件根据所述摄像头拍摄到的飞行监控画面结合知识图谱对所述监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至所述电子成像眼镜片上进行信息展示。

可选的，所述控制部件包括图像识别模块、知识图谱分析模块和信息输出模块，所述图像识别模块用于对所述监控画面进行信息识别，所述知识图谱分析模块用于判断所述图像识别模块识别到的信息是否包含异常情况，所述信息输出模块用于输出所述知识图谱分析模块的判断结果信息。

可选的，所述控制部件还包括规则引擎模块，预设有匹配不同异常情况的处理方案，用于在出现所述异常情况时匹配得到应对的处理方案，并将所述处理方案输出至所述电子成像眼镜片上进行方案显示。

可选的，所述控制部件与飞机控制系统交互连接，所述控制部件还用于识别所述监控画面中的手势指令，并对所述飞机控制系统发出所述手势指令。

可选的，所述智能眼镜上还设有声音收集与处理装置，与飞机控制系统交互连接，用于收集飞行员的声音指令，处理后发送至所述飞机控制系统。

可选的，所述声音收集与处理装置包括麦克风、ASR模块和NLU模块，所述麦克风用于收集飞行员的声音指令，所述ASR模块和NLU模块分别用于对所述声音指令进行转写和指令理解。

可选的，所述摄像头的数量为多个，分别设于所述智能眼镜和飞机上。

本发明实施例提供一种基于上述机载智能眼镜设备的飞机控制方法，所述方法包括：

飞行员佩戴所述智能眼镜执行飞行任务；

开启所述智能眼镜，利用所述摄像头实时拍摄飞行监控画面；

所述控制构件根据所述摄像头拍摄到的监控画面结合知识图谱对所述监控画面中出现的异常情况进行自主信息分析，并将分析结果信息输出至所述电子成像眼镜片上进行信息展示，供飞行员控制飞机执行飞行任务。