[发明专利]一种结合上下文信息的跨模态行人检测方法

权利要求书

1.一种结合上下文信息的跨模态行人检测方法，其特征在于：包括以下步骤：

(1)输入待检测图像，并将可见光和热红外两个模态下的图像送到深度卷积网络中得到固定数目的感兴趣区域RoI；

(2)将两个模态下的每一个感兴趣区域均映射成特征向量作为图中节点，然后分别将同一模态内和跨模态间的每对感兴趣区域映射变换后进行级联作为图中边元素，构建图模型；

(3)分别对同一模态内和跨模态间节点进行信息编码，单个节点接收不同种类的信息，采用门循环单元GRU进行上下文信息的传递更新，得到可见光图像GRU、热红外图像GRU、结合可见光和热红外图像的GRU这三个输出结果；

(4)对一个节点的三个特征向量更新输出，并进行均值池化操作作为节点的最终状态，将最终的节点表示送到分类器中进行分类以及标注框回归，设置阈值，将大于阈值的正样例以及其相应的坐标位置输出，实现行人检测。

2.根据权利要求1所述的结合上下文信息的跨模态行人检测方法，其特征在于：所述步骤(1)中，待检测图像为可见光与热红外两张配对形式的图像，由红、蓝、绿三个颜色通道组成。

3.根据权利要求1所述的结合上下文信息的跨模态行人检测方法，其特征在于：所述步骤(1)中，将可见光图像和热红外图像输入到具有13层卷积层的VGG16深度卷积网络模型中进行特征提取，对每一层的卷积层产生的特征图进行存储，并将最后一层特征图记为conv5_3；然后在特征图conv5_3上利用区域生成网络RPN，获得多个可能包含行人的区域建议，使用非极大值抑制NMS来选择固定数量的RoI。

4.根据权利要求1所述的结合上下文信息的跨模态行人检测方法，其特征在于：所述步骤(2)中，对感兴趣区域RoI池化操作后，再利用深度卷积网络的全连接层提取视觉特征作为图模型中的节点，得到两个模态下的节点组成；然后，在同一模态下的每对RoI映射变换后进行级联作为图模型里的边元素，接着对于跨同模态下的RoI也进行映射变换，将二者进行级联作为图模型里的边元素。

5.根据权利要求4所述的结合上下文信息的跨模态行人检测方法，其特征在于：所述边元素信息由以下公式计算得到：

其中，

e_j→i是指求取两个节点间的关系；W_p和w_v是可学习的权重矩阵，f_i^v，f_j^v分别是节点i和j的特征，表示节点i和j的空间位置关系，中(x_i,y_i)表示节点i的中心坐标，w_i和h_i分别表示节点i的宽和高；(x_i、y_i)和(x_j、y_j)分别表示节点i和节点j的中心坐标。

6.根据权利要求1所述的结合上下文信息的跨模态行人检测方法，其特征在于：所述步骤(3)中，获取同一模态中上下文信息，把当前要更新的节点和来自其他节点的集成信息作为门循环单元GRU的输入；然后获取另一模态的上下文信息，把当前要更新的节点和来自两个模态间其他节点的集成信息作为GRU的输入，选择相关的信息来更新当前节点的隐藏状态；当节点状态更新时，节点之间的关系也发生变化。

7.根据权利要求1所述的结合上下文信息的跨模态行人检测方法，其特征在于，所述门循环单元GRU中包括一个更新门、一个重置门、先前的隐层状态、新的隐层状态和更新的状态，使用逻辑sigmoid函数作为其激活函数，实现将不同的信息编码到节点，从而更新节点的状态。

8.根据权利要求1所述的结合上下文信息的跨模态行人检测方法，其特征在于，所述步骤(4)中，对于节点i，其可见光图像GRU输出结果为h_vIs，热红外图像GRU输出结果为h_Is，结合可见光和热红外图像的GRU输出结果为h_m，对三个特征向量使用均值池化操作，得到节点的最终表示，并用得到的节点最终表示预测行人置信度和边界框偏移量，即：