[发明专利]作业机械的模拟训练系统、方法、装置和电子设备

说明书

本发明提供一种作业机械的模拟训练系统、方法、装置和电子设备，其中模拟训练系统包括：模拟驾驶舱，模拟驾驶舱为基于作业机械的驾驶舱确定；体感控制器，体感控制器用于采集用户的肢体动作信息，并输出与肢体动作信息对应的姿态图像信息；VR设备，VR设备用于基于模拟驾驶舱生成VR场景，VR设备与体感控制器通信连接，用于将姿态图像信息融合入VR场景，并显示更新后的VR场景。本发明的模拟训练系统，通过融合VR场景和用户姿态图像信息，得到更新后的VR场景，可同时显示虚拟的驾驶舱场景和虚拟的用户肢体动作，实现虚拟和现实的完全同步，实现模拟训练过程中，用户操作动作与视觉的统一，显著增强用户的沉浸感和体验感。

技术领域

本发明涉及作业机械技术领域，尤其涉及一种作业机械的模拟训练系统、方法、装置和电子设备。

背景技术

作业机械的作业环境复杂、操作复杂、设备价值高，因此对操作人员的要求也较高，在上机前，需要对操作人员进行操作培训。在现有技术中，由于作业机械价值较高，操作失误极易导致作业事故的发生，进行基于实际设备之上的操作培训成本高、风险大，所以一般不会进行实操训练，而是采用纯理论培训或通过虚拟场景进行模拟训练，导致理论与实际脱节，且模拟体验感不佳，培训效果不好。

发明内容

本发明提供一种作业机械的模拟训练系统、方法、装置和电子设备，用以解决现有技术中在进行作业机械的模拟训练时，沉浸感不佳的缺陷，实现高沉浸感的模拟训练。

本发明提供一种作业机械的模拟训练系统，包括：

模拟驾驶舱，所述模拟驾驶舱为基于所述作业机械的驾驶舱确定；

体感控制器，所述体感控制器用于采集用户的肢体动作信息，并输出与所述肢体动作信息对应的姿态图像信息；

VR设备，所述VR设备用于基于所述模拟驾驶舱生成VR场景，所述VR设备与所述体感控制器通信连接，用于将所述姿态图像信息融合入所述VR场景，并显示更新后的VR场景。

根据本发明提供的一种作业机械的模拟训练系统，所述VR设备用于基于所述模拟驾驶舱的至少部分操作部件的定位信息生成VR场景。

根据本发明提供的一种作业机械的模拟训练系统，所述体感控制器为非穿戴式设备，且包括红外补光灯和至少两个灰阶摄像头。

本发明还提供一种作业机械的模拟训练方法，包括：

显示与作业机械的操控对应的VR场景；

接收用户的肢体动作信息；

响应于所述肢体动作信息，输出与所述肢体动作信息对应的姿态图像信息；

将所述姿态图像信息融合入所述VR场景，并显示更新后的VR场景。

根据本发明提供的一种作业机械的模拟训练方法，所述VR场景基于与作业机械的驾驶舱对应的模拟驾驶舱的至少部分操作部件的定位信息生成。

根据本发明提供的一种作业机械的模拟训练方法，所述肢体动作信息通过至少两个灰阶摄像头采集。

本发明还提供一种作业机械的模拟训练装置，包括：

显示模块，用于显示与作业机械的操控对应的VR场景；

接收模块，用于接收用户的肢体动作信息；

生成模块，用于响应于所述肢体动作信息，输出与所述肢体动作信息对应的姿态图像信息；

融合模块，用于将所述姿态图像信息融合入所述VR场景，并显示更新后的VR场景。

根据本发明提供的一种作业机械的模拟训练装置，所述VR场景基于与作业机械的驾驶舱对应的模拟驾驶舱的至少部分操作部件的定位信息生成。