[发明专利]自适应采煤机随动跟踪多摄像头视频拼接方法

说明书

本发明公开了自适应采煤机随动跟踪多摄像头视频拼接方法，属智能监控技术领域，将摄像头组自适应随动跟踪方法和采煤机视频拼接算法相结合，提升采煤工作面大视差条件下采煤机监控视频的拼接效果，降低摄像头监控死角对采煤机状态监控的影响；首先利用彩色荧光带对机体进行位置标记，通过相机标定原理得到其现实空间坐标；基于摄像头组自适应随动跟踪方法对部署于采煤工作面上的摄像头进行分组激活，由当前被激活摄像头组完成对采煤机画面的视频拼接任务。采煤机视频拼接算法是利用图像拼接算法将两个监控视频的对应帧图像进行拼接，基于RANSAC算法筛选SIFT特征点用于两图的配准；最后，通过搜寻最优缝合线对两图进行拼接，实现采煤机作业的大范围监控。

技术领域

本发明属于智能监控技术领域，涉及自适应采煤机随动跟踪多摄像头视频拼接方法。

背景技术

采煤机作为现下煤矿生产机械化和现代化的重要设备，如果出现故障将会导致整个采煤工作面的中断，它的运行状态直接影响煤矿安全生产水平和经济生产效益。由于采煤机是一个集机械、电气和液压为一体的大型复杂系统，它的机体很长，具有操作复杂度高以及无法及时发现工作故障等问题，传统的视频监控系统无法覆盖整个机体，必然会产生监控盲点，增加故障漏检率。

因此，针对大型采煤机的故障监控系统需要多个摄像头进行配合，实现对大视域跨度下采煤机画面的协同采集，才能完成对于采煤机的整体监控。综上所述，为及时发现采煤机的运行故障，延长采煤机的使用寿命，避免因设备故障而造成的各种经济损失，设计一种自适应采煤机随动跟踪多摄像头视频拼接方法具有重要意义。

目前，煤矿井下视频监控的拼接技术研究已经有了一定的进展，如赵建洪等人针对视频图像拼接实时性差的问题，提出利用图像处理单元实现视频图像的融合；管增伦等人针对加速鲁棒性特征算法实时性不高等问题，提出降低特征点维度和仅在感兴趣区域提取特征点来改进加速鲁棒性算法，提高井下视频拼接算法的实时性和拼接效果；杜春晖等人针对采煤工作面视频监控问题采用非线性抗失真模型(NAM)矫正算法消除图像畸变，采用加速稳健特征(SURF)检测算法进行特征点检测，并通过双线性插值方法进行图像融合，从而实现视频拼接。

以上方法都对井下视频监控拼接提出了一定的技术改进，但是对于用于井下监控的摄像头组没有进行自适应动态调度，主要面向静态目标或环境的监控场景，针对动态大型目标(如采煤机)的随动监控还未得到充分研究。同时，现有拼接算法不能很好处理矿井中大视差条件下的视频拼接结果模糊、畸变问题，限制了广视域大视差场景下监控范围的纵向扩展。

发明内容

发明目的：为了解决现有技术存在的问题，本发明提供自适应采煤机随动跟踪多摄像头视频拼接方法。

技术方案：为了实现上述发明目的，本发明采用如下技术方案：

自适应采煤机随动跟踪多摄像头视频拼接方法，包括如下步骤：

1)在采煤机中央部位进行ROI标记，作为相机标定算法的定位锚点；

2)利用色彩分量特征提取算法对各摄像头采集图像中的ROI锚点进行检索，并以一定算法时间间隔t_q按照从左到右排列顺序对各摄像头视频数据进行ROI锚点轮询检索，若某一摄像头检索到锚点，则随后的摄像头停止检索，由此摄像头为中心，根据机体长度确定左右两侧的摄像头数目，；

3)随后根据相机标定中图像空间坐标与现实空间坐标的映射关系自适应确定需调用的摄像头组并对组内视频进行图像拼接，最终将结果显示在监视器上。

进一步地，步骤1)中，所述的进行ROI标记具体为：首先对采集到的图像进行RGB到HSV的色域转换，根据彩色荧光带的颜色确定其在HSV空间中的色彩因子阈值，基于此阈值对矩形ROI进行识别，获取矩形ROI形心的像素位置，标记为摄像头随动的识别锚点；随后利用相机标定方法将锚点的图像空间坐标投影到现实空间坐标系中。