[发明专利]一种基于AR的采煤机可视化监测方法

说明书

本发明提出了一种基于AR的采煤机可视化监测方法，其步骤为：首先在采煤机上设置传感器和机载摄像机，获取采煤机运行数据和工作区被监控煤壁的监控数据；其次，根据综采工作面设备配套图，构建3D采煤机监测虚拟模型；再对连续监控视频数据进行处理，使视频数据与3D采煤机监测虚拟模型中的虚拟煤壁对象一致；然后，将处理后的视频数据投射于对应虚拟煤壁对象上，并实时驱动3D采煤机监测虚拟模型的位置和几何姿态，使3D采煤机监测虚拟模型与监测数据、视频数据时空融合；最后，借助AR技术，在现实环境中，实时再现井下采煤场景。本发明借助AR和可视化技术，实时、动态、逼真的再现井下开采环境，提高了监测人员对监测数据认知的效率和准确性。

技术领域

本发明涉及煤矿开采技术领域，特别是指一种基于AR的采煤机可视化监测方法。

背景技术

煤炭的开采环境复杂、危险，煤炭综合机械化开采的研发目标是少人化、无人化，因此信息化、数字化和智能化将是煤矿综采发展的主要方向。采煤机作为综合机械化开采的重要装备，承担着割煤和装煤的关键任务，其开机率和可靠性直接影响煤矿的开采效率和经济效益，这要求采煤机具有高可靠性。采煤机的可靠性不仅依赖于它的产品质量，还取决于其运行过程中是否得到正确的操作和维护，操控者必须实时监测其运行数据，随时调整设备的运行参数，使其处在最优工况，提高运行效率并延长使用寿命。传统采煤机监控系统处于顺槽或者地面调度指挥中心，以监控采煤机运行参数和运行环境。

采煤机开采环境数据监测采用视频监测模式，即在综采工作面液压支架上固定间隔设置多台摄像机，对采煤机周边生产现场环境进行视频采集，然后传输至控制中心，随着采煤机的推进，监控系统需不停切换监控摄像机以实现跟机监测，采煤机的运行监测数据和几何姿态采用2D显示器呈现。

采煤机监测数据包含3D物理数据(采煤机位置、几何姿态数据和相对煤壁位置数据等)和2D抽象数据(运行数据、监控视频等)。在传统采煤机监测系统中，3D物理图形数据经多次投影变换转化为2D图形与2D抽象数据并列显示，监控人员需在大脑中实时将2D图形反向变换为3D物理图形数据后与2D抽象数据关联，从而导致监控人员思维负担重、数据关联容易混乱等问题，进而造成决策缓慢甚至误判。因此利用增强现实和数据可视化技术开展基于3D空间显示、多种类数据融合的可视化监测系统研究急迫而必要。

煤矿自动化开采技术的发展方向是少人化、数字化和智能化，主流的综采工作面系统采用设备自动生产、操作人员远程干预模式。采煤机是综采工作面的重要装备，监控人员需实时观察其运行状态、开采工艺参数和周边开采环境。现有采煤机远程监控系统采用多台平面显示器并列呈现监控数据，主要存在以下问题：

1)采煤机几何位姿数据不直观

现有采煤机监测系统有2D监测系统和基于VR的透明工作面系统两种，均存在采煤机几何位姿数据呈现不直观问题。

2D监测系统将采煤机的3D几何图形数据投影变换为固定视角的2D投影图形，以多显示屏分屏呈现，监测人员只能从几个固定视角观察采煤机的位姿，显示效果不直观。

透明工作面系统基于物联网、VR和数字孪生技术开发，构建综采工作面三机的3D虚拟模型，在计算机营造的3D空间内重现综采工作面，以多台2D显示器分屏呈现监测数据。透明工作面系统的优点是监测人员可以从任意视角观察采煤机的几何位姿及开采环境数据。缺点是由于采用2D显示器作为显示输出设备，采煤机的3D几何图形数据只能投影变换为2D图形在显示器上呈现，并且在2D显示空间难以操控3D模型。

2)监控视频与采煤机几何位姿数据时空不关联