[发明专利]卷积深度神经网络的图像目标语义识别及追踪

说明书

本发明提供一种卷积深度神经网络的图像目标语义识别及追踪，同时完成对目标的识别及追踪。我们首先对算法进行离线训练，然后将离线训练好的神经网络应用在待追踪视频中。根据识别网络在第一帧的判别结果，激活追踪网络相应的网络分支，然后利用卷积神经网络对图像目标同时进行识别及追踪。

技术领域

本发明涉及图像处理技术领域，尤其涉及图像目标的语义识别及追踪算法。

背景技术

随着视频摄像头的在城市安防领域的应用，基于图像信息的目标追踪算法吸引了工业界及学术界的极大热情。在过去的三十年，图像追踪算法取得了长足的发展，根据算法对目标的先验知识，追踪算法可分为特定目标追踪以及任意目标追踪。其中，特定目标追踪能够很好的对目标进行建模，因此其往往能获得很好的追踪效果，但是该类算法只能适用于某一特定类的目标追踪。相反，任意目标追踪能够用于任意的目标追踪，但是由于缺少关于目标类的先验知识，因此往往追踪效果不如特定类的目标追踪算法。因此，如果能够在两类方法中取长补段，既能有特定类追踪算法的优异追踪性能，又能有任意类追踪算法的普适性，对提高算法在现实生活中的应用具有重要意义。

在上述发明背景说明段落中所揭露的内容，仅为增进对本发明的背景技术的了解，因此，上述的内容含有不构成阻碍本发明的先前技术，且应为本领域习知技艺者所熟知。

发明内容

针对追踪技术的现有问题，本文提出一种卷积的深度神经网络，同时完成对目标的识别及追踪。我们首先对算法进行离线训练，然后将离线训练好的神经网络应用在待追踪视频中。根据识别网络在第一帧的判别结果，激活追踪网络相应的网络分支，然后利用卷积神经网络对图像目标同时进行识别及追踪。

实现上述发明目的，本技术发明提供以下技术方案：

算法首先对算法进行离线训练，利用迁移学习的方法，将ImageNet上已经训练好的VGG深度模型的前三层转移到本算法，作为共享神经网络的前三层，提取底层通用特征。

进一步的，在每一帧中截取多个图像区域，根据截取图像区域与图像目标的距离，将图像区域标注为前景以及后景，并将前景的区域打上目标语义标签，例如，行人，车辆，动物等。

进一步的，利用截取好的图像区域，通过三层共享神经网络，将提取的特征输入并训练两条卷积神经网络，其中一条用于图像目标的语义识别，另外一个用于作为目标追踪网络。

进一步的，在线追踪时，我们首先识别目标的语义信息，并激活追踪网络中的对应分支，并通过第一帧信息完成整个系统的微调。

进一步的，当新一帧到达的时候，截取多个图像区域，并对每个图像区域进行语义识别及前景与背景的识别。

进一步的，当图像含有正确语义信息的区域被区分为前景区域，则利用所有符合此条件的图像区域分布的均值来预测目标位置。

进一步的，当图像区域被分类为背景，并且语义信息不符合目标信息时，其作为负样本来训练整个神经网络。

此外,本技术发明提供以下技术方案：

目标跟踪系统，包括一语义追踪器,语义追踪器包括:一共享卷积网络,从不同目标分类的多帧图像提取通用特征；一分类网络,连接到共享卷积网络,基于通用特征,产生对象分类结果；一追踪网络,连接到共享卷积网络,基于通用特征,跟踪目标对象。

进一步的，分类网络及追踪网络相互监督并触发网络适配。

进一步的，共享卷积网络自一图像的包围盒提取通用特征。

进一步的，基于通用特征,分类网络将包围盒分类为目标对象及非目标对象。

进一步的，基于通用特征,追踪网络将包围盒分类为前景以及背景非目标对象。