[发明专利]基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法

说明书

技术领域

本发明涉及一种视频目标跟踪方法，融合了图像处理、模式识别、人工智能、自动控制以及计算机等许多领域的先进技术，特别涉及一种基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法。

背景技术

视觉跟踪是计算机视觉领域中非常重要的一个研究课题，在无人机、精确制导、空中预警、战场监视等军事领域和机器人、智能监控、智能交通、人机交互等民用领域中有着十分广泛的应用。视觉跟踪的任务是对视频序列中的目标状态进行持续推断，实现视频每一帧中的目标定位，并在任一时刻都能够提供完整的目标区域，因此，研究视觉跟踪技术具有十分重要的军事意义和现实意义。

视频目标跟踪的过程通常包括目标位置初始化、目标特征表达、目标运动估计、候选样本特征提取与特征匹配、目标定位等几个过程。而粒子滤波是一种基于蒙特卡罗方法和递推贝叶斯估计的新滤波方法。该方法具有简单易行，适用于非线性及非高斯噪声环境等优点，近年来，在国内外备受关注。但标准粒子滤波算法存在着粒子退化、粒子多样性降低等问题严重影响目标检测概率和检测精度。

在目标跟踪过程中，首先要提取候选样本和模板样本的特征信息，然后利用相应的观测模型计算候选样本是被跟踪目标的概率。可以看出，采用何种特征表示图像样本将对目标跟踪效果起到关键作用。近年来，随着深度学习在目标检测和识别等领域取得了巨大突破，许多学者开始将深度学习模型引入到目标跟踪中，逐渐开启了目标跟踪领域的新篇章。深度学习中的卷积神经网络(Convolutional Neural Network，CNN)受到了研究者的极大关注，基于CNN的特征学习能够获得目标特征的深层次表达，因此被引入到视频目标跟踪问题的求解中来。

主成分分析(PCA)与隐层神经元数量受限时的自编码神经网络特征提取结果之间具有高度的相似性，根据这一特点，可以用PCA求得的初始图像的特征向量组来近似代替自编码神经网络的编码层，从而得到一个单层前馈神经网络。进而通过分层多次利用这一特性，就可以构建一个简单易求解的卷积神经网络。因此，可以利用PCA分层多次计算求得图像的特征向量组，对卷积神经网络的卷积核参数进行初始化。能够避免传统方法中需要大量标签样本数据才能完成CNN参数训练的问题，且更为便捷和易于实现。

现有的方法存在的不足：基于多通道PCA卷积神经网络结构首先是将图像转换成灰度图像，再进行PCA学习，这样PCA学习只利用了图像的灰度信息，丢失了图像的颜色信息。PCA提取出的特征区域质量就不能得到保证，从而就会影响跟踪效果。

发明内容

本发明的目的旨在解决上述技术缺陷，通过三个通道PCA学习得到的特征向量更加充分利用了图像的颜色信息，再利用其特征向量实现卷积神经网络参数的初始化，从而获得目标的深度特征表达；结合粒子群优化粒子滤波进行视频目标跟踪，提高跟踪性能。

为达到上述目的，本发明提出一种基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法，包括以下步骤：

S1：将视频转化图像帧输入系统，获取跟踪目标的前几帧视频图像；

S2：通过PCA对图像进行预处理，得到降维后的图像；

S3：构建多通道卷积神经网络来学习图像三个通道的特征，获得目标的深层次表达；

S3.1：处理后的图像在H、S、I三通道进行PCA学习；

S3.1.1：计算样本数据集X中样本的协方差矩阵；

S3.1.2：对协方差矩阵进行特征分解，求取特征值λ_i和对应的特征向量w_i，降序排列特征值λ_i；

S3.1.3：根据贡献率的大小，取前d个特征值和相应的特征向量作为子空间的基。

S3.2：各通道经过PCA处理的特征向量来初始化CNN结构中的卷积核，构建多通道卷积神经网络

S3.2.1：对输入图像进行取片，得到取片的样本集作为训练数据；

S3.1.3：将训练数据进行PCA运算，求得其特征向量组，并用特征向量初始化卷积神经网络的卷积核；

S4：把待跟踪目标的特征样本输入到粒子滤波系统，利用粒子群优化粒子滤波算法，重采样粒子滤波后的粒子集，增加采样粒子的多样性。计算每个采样粒子所在区域的特征图，与目标区域特征进行比较，通过调整各采样粒子的权重大小和特征样本位置来近似实际的概率分布，以特征样本的期望作为系统估计值，提高标准粒子滤波算法的跟踪性能。

S5：粒子群优化粒子滤波进行特征跟踪，得到并输出视频跟踪的结果。

有益效果