[发明专利]卷积深度神经网络的图像目标语义识别及追踪

权利要求书

1.目标追踪系统，包括一语义跟踪器,语义跟踪器包括:

一共享卷积网络,从不同目标分类的多帧图像提取通用特征；

一分类网络,连接到共享卷积网络,基于通用特征,产生对象分类结果；

一跟踪网络,连接到共享卷积网络,基于通用特征,追踪目标对象。

2.根据权利要求1所述的目标追踪系统，其特征在于，分类网络及跟踪网络相互监督并触发网络适配。

3.行动装置,包括计算器可用的指令,当指令用于计算装置时,导致计算装置执行以下操作:

从不同目标分类的多帧图像提取通用特征；

基于通用特征,产生对象分类结果；

基于通用特征,追踪目标对象。

4.卷积深度神经网络的图像目标语义识别及跟踪算法，包括以下步骤：

(1)离线训练时，利用迁移学习的方法，将ImageNet上已经训练好的VGG深度模型的前三层先验知识迁移到本算法中，作为共享神经网络的前三层，提取底层通用特征；

(2)每一帧图像中，截取多个矩形图像区域，根据截取的矩形区域与图像目标的距离，将矩形区域标注为前景或背景，并将前景的区域打上目标的语义标签，如，行人，车辆，动物等；

(3)利用截取好的图像区域，通过三层共享神经网络，提取的特征输入并训练两条卷积的子神经网络，其中一条子神经网络用语识别目标的语义信息，另外一条多分支的子神经网络用于区分矩形区域为前景或背景从而完成跟踪；

(4)在线跟踪时，首先识别已知目标的语义信息，激活多分支子神经网络中的对应分支，并通过第一帧的信息完成整个系统的微调；

(5)当新一帧到达时，截取多个图像区域，并对每个图像区域的语义进行分析，并将其区分为前景以及背景；

(6)其中，当图像区域含有正确的语义信息并且被分类为前景，则所有符合该条件的图像区域的均值位置作为预测的图像位置；

(7)当图像区域被分类为背景，其语义信息与目标语义不相符合的时候，该样本用作在线训练神经网络的负样本，训练更新网络参数。

5.根据权利要求4所述卷积深度神经网络的图像目标语义识别及跟踪算法，其特征在于，离线训练时，每个训练样本都含有一个语义标签，一个前景/背景标签。

6.根据权利要求4所述卷积深度神经网络的图像目标语义识别及跟踪算法，其特征在于，网络结构的前三层通过迁移学习已经训练好的VGG模型，完成底层图像信息的提取。

7.根据权利要求4所述卷积深度神经网络的图像目标语义识别及跟踪算法，其特征在于，处理后的底层信息分别用来训练语义神经网络，及多分支的跟踪神经网络。

8.根据权利要求4所述卷积深度神经网络的图像目标语义识别及跟踪算法，其特征在于，在线跟踪时，同时对截取的图像区域进行语义分析及前景/背景分类。

9.根据权利要求4所述卷积深度神经网络的图像目标语义识别及跟踪算法，其特征在于，含有正确语义的前景目标区域用来估算目标位置，而含有非对应语义信息的背景区域用作负样本来训练更新神经网络。

10.根据权利要求4所述卷积深度神经网络的图像目标语义识别及跟踪算法，其特征在于，用识别网络的正负样本及跟踪网络的正负样本来训练网络结构，直到两个网络能够得到一致的分配结果。