[发明专利]一种基于深度神经网络的多视角多目标关联方法

说明书

本发明公开一种基于深度神经网络的多视角多目标关联方法，包括以下步骤：步骤一，采用特征提取对多个视角下同一时刻的多个目标检测框进行目标特征向量bsubgt;1/subgt;,bsubgt;2/subgt;,...,bsubgt;n/subgt;提取；步骤二，采用欧式距离对目标特征向量进行两两之间距离计算构建相似度矩阵A；步骤三，通过双向循环神经网络参数对相似度矩阵A进行转化生成分配矩阵P；步骤四，通过预设阀值对分配矩阵P进行转化构建二值分配矩阵；步骤五，通过端到端方式判断深度神经网络中对应的损失模型是否收敛，如果满足收敛输出匹配矩阵；否则重复迭代步骤一至步骤四。本发明具有高于现有方法的匹配精度，且获得了很好的跨域性能。

技术领域

本发明属于人工智能、计算机视觉与图像匹配技术领域，尤其涉及一种基于深度神经网络的多视角多目标关联方法。

背景技术

多台摄像机可以从不同的视角同时拍摄同一场景，从而为许多重要的视觉任务(例如视频监控)等提供补充信息。在这种情况下，一个重要的问题是多视角多目标关联，该问题旨在使用多相机系统来匹配不同视角检测到的同一个目标。

本发明涉及到的背景技术有：

(1)可穿戴相机(参考文献[1])：现有大部分工作通常使用固定相机网络，从而可以提前进行相机标定。但固定相机覆盖范围和视角受限，因此本发明基于多个可穿戴相机GoPro进行移动相机网络下的视频处理。

(2)特征提取网络(参考文献[2])：目标的外观特征作为一种非常有效的特征，已经广泛的应用在目标检测与关联任务中。目前常用的外观特征通常包括人工特征和深度学习网络提取的特征。但人工特征常常具有局限性，本发明采用一个深度学习网络来进行目标框的特征提取。通过输入大量训练数据集，提高模型的特征提取能力。

(3)相似度计算方式：机器学习中常通过度量样本的距离来评估两个目标之间的相似度。常用的相似度度量方法有欧式距离、余弦相似度、汉明距离、曼哈顿距离等。本发明使用欧式距离作为特征向量之间相似度的度量方式。从而构建相似度矩阵。

(4)深度网络(参考文献[3])：深度学习在计算机视觉中的应用越来越广泛。深度匹配网络的提出就是为了处理两个视角下目标之间的匹配问题。但该方法限制了同时处理的视角数。本发明将多个视角之间的循环一致性、对称性、行列约束作为约束加入模型的训练中，通过神经网络的学习实现将相似度矩阵到分配矩阵的转换过程。

发明内容

针对现有技术中存在技术问题，本发明提供一种基于深度神经网络的多视角多目标关联方法来识别不同视角中的相同目标在计算机视觉的许多应用中起着重要的作用。本发明研究了不同相机同时拍摄的多个视角下的图像上的目标关联问题，即多视角多目标行人关联解决现有技术中问题；即使用基于外观的深度神经网络提取每个图像上每个检测到的对象的外观特征。通过计算所有检测到的目标之间的成对相似度得分构建一个包含所有视角目标的相似度矩阵。再利用一个深度分配网络，将相似度度矩阵转换为分配矩阵，从而为多视角多目标关联提供一对一的分配结果。本发明具有高于现有方法的匹配精度，且获得了很好的跨域性能。

为了解决技术问题，本发明采用如下技术方案：

一种基于深度神经网络的多视角多目标关联方法，包括以下步骤：

步骤一，采用特征提取对多个视角下同一时刻的多个目标检测框进行目标特征向量b₁,b₂,...,b_n提取；

步骤二，采用欧式距离对目标特征向量进行两两之间距离计算构建相似度矩阵A；

步骤三，通过双向循环神经网络参数对相似度矩阵A进行转化生成分配矩阵P；

步骤四，通过预设阀值对分配矩阵P进行转化构建二值分配矩阵；