[发明专利]基于多模态数据的智能放煤控制方法和系统

说明书

本公开提出一种基于多模态数据的智能放煤控制方法和系统，方法包括：获取多模态数据；其中，多模态数据包括：放顶煤工作面的视频数据、音频数据、振动数据、以及尾梁倾角数据和插板行程数据；根据多模态数据，预测生成放煤核心参数；其中，放煤核心参数至少包括：放煤时间、目标尾梁摆动角度、目标尾梁摆动频率、目标插板伸缩距离和目标插板伸缩频率；以根据放煤核心参数，控制液压支架在放煤时间内，尾梁按照目标尾梁摆动角度和目标尾梁摆动频率进行摆动，以及插板按照目标插板伸缩距离和目标插板伸缩频率进行伸缩，执行放顶煤操作。由此，能够自动识别煤矸状态，并控制放顶煤开采进行自动放煤，安全可靠。

技术领域

本公开涉及煤矿生产智能化控制技术领域，尤其涉及一种基于多模态数据的智能放煤控制方法和系统。

背景技术

相关技术中，放顶煤采煤的放煤过程中，采用人工放煤方式，放煤技术人员从液压支架间隙观察后部刮板运输机上煤流，观察矸石是否被放出或者放出的量，进而决定是否停止放煤。这种方法劳动强度大、生产效率低，且容易出现由于工人主观原因发生误操作的情况。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

第一方面，提出一种基于多模态数据的智能放煤控制方法，所述方法，包括：获取多模态数据；其中，所述多模态数据包括：放顶煤工作面的视频数据、音频数据、振动数据、以及尾梁倾角数据和插板行程数据；根据所述多模态数据，预测生成放煤核心参数；其中，所述放煤核心参数至少包括：放煤时间、目标尾梁摆动角度、目标尾梁摆动频率、目标插板伸缩距离和目标插板伸缩频率；以根据所述放煤核心参数，控制液压支架在所述放煤时间内，所述尾梁按照所述目标尾梁摆动角度和所述目标尾梁摆动频率进行摆动，以及所述插板按照所述目标插板伸缩距离和所述目标插板伸缩频率进行伸缩，执行放顶煤操作。

在一些实施例中，所述根据所述多模态数据，预测生成放煤核心参数，包括：对所述多模态数据进行特征提取，获取多模态特征向量；对所述多模态特征向量进行多模态特征融合，分别预测所述放煤时间、所述目标尾梁摆动角度、预测所述目标尾梁摆动频率、所述目标插板伸缩距离和所述目标插板伸缩频率。

在一些实施例中，所述多模态数据，还包括：采煤机速度、刮板运输机功率、放顶煤工作面压力数据、放顶煤工作面倾向长度、初始煤层平均厚度、初始煤层倾角、初始煤层平均夹矸率、初始煤层可采指数和瓦斯浓度。

在一些实施例中，所述对所述多模态数据进行特征提取，获取多模态特征向量，包括：

将所述视频数据输入至训练好的煤矸识别模型，对所述视频数据进行特征提取，获取第一煤矸特征向量；

将所述音频数据输入至训练好的声纹煤矸识别模型，对所述音频数据进行特征提取，获取第二煤矸特征向量；

将所述振动数据输入至训练好的振动频率煤矸识别模型，对所述振动数据进行特征提取，获取第三煤矸特征向量；

将所述尾梁倾角数据、所述插板行程数据、所述采煤机速度、所述刮板运输机功率、所述放顶煤工作面压力数据、所述放顶煤工作面倾向长度、所述初始煤层平均厚度、所述初始煤层倾角、所述初始煤层平均夹矸率、所述初始煤层可采指数和所述瓦斯浓度分别映射至各自的表示空间，生成尾梁倾角向量、插板行程向量、采煤机速度向量、刮板运输机功率向量、放顶煤工作面压力向量、放顶煤工作面倾向长度向量、初始煤层平均厚度向量、初始煤层倾角向量、初始煤层平均夹矸率向量、初始煤层可采指数向量和瓦斯浓度向量。

在一些实施例中，所述对所述多模态特征向量进行多模态特征融合，分别预测所述放煤时间、所述目标尾梁摆动角度、预测所述目标尾梁摆动频率、所述目标插板伸缩距离和所述目标插板伸缩频率，包括：