[发明专利]一种结合上下文信息的跨模态行人检测方法

摘要

本发明公开了一种结合上下文信息的跨模态行人检测方法，将可见光和热红外两个模态下的图像送到深度卷积网络中得到固定数目的感兴趣区域；将两个模态下的每一个感兴趣区域映射成特征向量作为图中节点构建图模型；采用门循环单元GRU进行上下文信息的传递更新，得到可见光图像GRU、热红外图像GRU、结合可见光和热红外图像的GRU这三个输出结果；使用最终的节点表示来送到分类器中进行分类以及标注框回归，设置阈值，将大于阈值的正样例以及其相应的坐标位置输出，实现行人检测。将深度学习应用到了行人检测领域中，达到较好的检测效果；结合单模态图像上下文信息和跨模态图像上下文信息，使得特征具有更加丰富的信息，帮助分类器更好的分类以及定位。