[发明专利]一种基于AR的采煤机可视化监测方法

权利要求书

1.一种基于AR的采煤机可视化监测方法，其特征在于，其步骤如下：

步骤一：在采煤机上设置机载摄像机和机载传感器，利用机载摄像机对被监控工作区煤壁进行连续拍摄，获取连续监控视频数据；利用机载传感器获取设备几何位姿和运行数据；将连续监控视频数据、设备几何位姿和运行数据传输至综采工作面监控系统；

步骤二：使用AR设备在现实环境中可视化呈现3D采煤机监测虚拟模型，所述3D采煤机监测虚拟模型包括刮板机模型、被监控煤壁虚拟模型和采煤机虚拟模型；采煤机位置数据嵌入刮板机模型中；开采区位置数据和开采区域监控视频数据均嵌入被监控煤壁虚拟模型中；采煤机的姿态数据、几何姿态数据和关键部件警告数据均嵌入采煤机虚拟模型中；采煤机虚拟模型分别与设备几何位姿和运行数据相关联；

采煤机的姿态数据包括机身相对于地球绝对坐标的航向角α、俯仰角β和横滚角γ；此3个数据驱动采煤机虚拟模型的三个旋转角度参数，即可将机身姿态数据嵌入采煤机虚拟模型，实现机身姿态数据可视化；

几何姿态数据包括摇臂的旋转角度、调高油缸的旋转角度及调高油缸活柱的伸缩距离；采煤机的几何姿态由参数驱动，其中，驱动采煤机摇臂的角度，其数值来自于采煤机左右摇臂处设置的旋转编码器；驱动调高油缸角度；驱动调高油缸活柱伸长量，左右6个参数即可驱动采煤机虚拟模型；将6个几何姿态数据嵌入实现采煤机的几何姿态可视化；

采煤机核心机、电、液、控部件的安全状态数据可采用颜色标识；当部件处于危险和警告状态时，将该部件的亮度设置为闪烁，并调低其余部件的透明度，以便突显异常状态部件，同时发出警告声音，进一步警示用户；设备警告数据通过颜色、闪烁和声音嵌入采煤机物理虚体，实现采煤机关键部件警告数据可视化；

步骤三：从综采工作面监控系统中获取监测数据，驱动AR设备可视化呈现的3D采煤机监测虚拟模型，其中，监控视频通过处理后投射在虚拟煤壁对象上；采煤机与被监测煤壁的距离数据驱动虚拟煤壁的位置；采煤机位置数据驱动刮板机模型；采煤机的姿态数据、几何姿态数据和关键部件警告数据驱动采煤机虚拟模型；

步骤四：采煤机的设备属性数据及运行数据显示在触控显示器上，并通过网络与AR设备呈现的3D采煤机监测虚拟模型进行关联；

步骤五：借助AR技术，并将连续监控视频数据和运行数据与3D采煤机监测虚拟模型在时间和空间上完美融合，3D采煤机监测虚拟模型的姿态和连续监控视频数据中的采煤机姿态完全一致，在现实空间中实时直观的再现井下采煤场景。

2.根据权利要求1所述的基于AR的采煤机可视化监测方法，其特征在于，采煤机可视化监测系统的触控模块操作方法为：

初始化：打开平板触控计算机，启动采煤机可视化监测系统，连接网络系统；

数据调取：连接综采工作面监控系统，从综采工作面监控系统的数据库中提取所需嵌入式抽象数据，将嵌入式抽象数据处理成虚拟模块调用的数据形式；

抽象数据可视化：根据可视化需求，以图表、数据、曲线形式在触控显示器排布关联式抽象数据和嵌入式抽象数据。

3.根据权利要求2所述的基于AR的采煤机可视化监测方法，其特征在于，采煤机可视化监测系统的AR模块的操作方法为：

初始化：启动AR头戴式显示设备，AR头戴式显示设备自动扫描监控室内头盔周边的工作环境，并进行空间建模；借助AR设备的SLAM技术和空间锚技术，确定采煤机所处空间的定位信息；在AR设备的主菜单，启动采煤机AR监测程序；

3D虚拟模型载入：当采煤机AR监测程序第一次启动时，载入3D采煤机监测虚拟模型，操作人员将3D采煤机监测虚拟模型定位至工作台；再次启动采煤机AR监测程序时，若AR设备所在环境空间信息相同，则依据上次AR设备记录的空间锚，重定位3D采煤机监测虚拟模型；

模型可视化驱动：从采煤机可视化监测系统中获取嵌入式抽象数据，实时驱动3D采煤机监测虚拟模型的采煤机的机身姿态、运动部件几何姿态、采煤机位置、监控煤壁的参数、监控视频和警告信息，实时动态可视化驱动3D采煤机监测虚拟模型，使连续监控视频数据、运行数据与采煤机的几何姿态时空同步。