[发明专利]基于双目视觉的掘进机的工作面识别及控制方法及装置

权利要求书

1.一种基于双目视觉的掘进机的工作面识别及控制方法，其特征在于，包括：

根据巷道内的双目视觉图像，得到截割面区域和堆料区域分别对应的状态信息；

根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置；

根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，并绘制所述掘进机在此移动过程中的环境地图信息及移动轨迹；

若所述掘进机移动至所述目标位置，则控制所述掘进机执行目标任务；

若所述掘进机完成所述目标任务，则根据所述环境地图信息控制所述掘进机从所述目标位置沿所述移动轨迹移动至所述初始位置。

2.根据权利要求1所述的控制方法，其特征在于，所述状态信息包括、以及所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息、以及所述堆料区域的高度信息和第二位置信息，所述根据巷道内的双目视觉图像，得到所述截割面区域和堆料区域分别对应的状态信息，包括：

根据所述巷道内的双目视觉图像，获取工作面的点云信息；

根据所述工作面的点云信息，将所述截割面区域和堆料区域进行分离；

根据所述截割面区域的点云数据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息；

根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息；

所述根据所述截割面区域和堆料区域分别对应的状态信息，确定所述掘进机待执行的目标任务、以及所述目标任务对应的目标位置，包括：

根据所述截割面区域的边缘成型程度信息和平整程度信息、以及堆料区域的高度信息，确定所述掘进机待执行的目标任务；所述目标任务包括对所述截割面区域的截割任务和对所述堆料区域的收料任务中的至少一个；

根据所述目标任务对应的第一位置信息和/或第二位置信息，确定所述目标位置。

3.根据权利要求2所述的控制方法，其特征在于，所述根据所述巷道内的双目视觉图像，获取工作面的点云信息，包括：

根据所述巷道内的双目视觉图像，获得所述工作面的稠密视差图；

对所述稠密视差图中的各个点云数据的空间坐标进行计算，获取所述稠密视差图中的工作面的点云信息；

所述根据所述工作面的点云信息，将所述截割面区域和堆料区域分离，包括：

根据所述稠密视差图中的工作面的点云信息，计算所述截割面区域的点云信息对应的空间平面，并确定所述截割面区域对应的点云数据；

将距离所述截割面区域对应的空间平面小于阈值的点云数据作为初始点集；

将所述初始点集内的点云数据投影到所述截割面区域对应的空间平面上，得到深度图；

基于采集到的所述深度图上的图标签数据，训练语义分割模型；

基于所述语义分割模型，将所述深度图中的所述截割面区域和所述堆料区域进行分离。

4.根据权利要求3所述的控制方法，其特征在于，所述根据所述截割面区域的点云数据，确定所述截割面区域的边缘成型程度信息、平整程度信息和第一位置信息，包括：

将所述截割面区域对应的点云数据投影至实际的物理坐标系上，得到所述截割面区域的实际空间点云数据；

根据所述截割面区域的实际空间点云数据，得到所述截割面区域对应的第一位置信息；

所述根据所述堆料区域的点云数据，确定所述堆料区域的高度信息和第二位置信息，包括：

将所述堆料区域对应的点云数据投影至实际的物理坐标系上，得到所述堆料区域的实际空间点云数据；

根据所述堆料区域的实际空间点云数据，得到所述堆料区域对应的第二位置信息。

5.根据权利要求3所述的控制方法，其特征在于，所述根据双目视觉对所述掘进机的移动追踪，引导所述掘进机从初始位置移动至所述目标位置，包括：

通过固定在所述掘进机两侧的双目摄像头，得到所述截割面区域的实时点云数据；

根据所述堆料区域的实时点云数据，计算所述掘进机与所述截割面区域之间的相对位置，实现对所述掘进机的移动追踪。