[发明专利]基于非线性融合深度3D卷积描述子的行为识别方法

权利要求书

1.基于非线性融合深度3D卷积描述子的行为识别方法，包括：

(1)利用C3D网络获取每个样本的L个特征向量v，其中，L为C3D网络的层数；

(1a)将每个样本划分为多个连续的视频片段，其中，每个视频片段的长度相同；

(1b)将步骤(1a)得到的视频片段输入到C3D网络，得到每个视频片段在C3D网络中的各层激活值，其中，C3D网络的层数为L；

(1c)根据步骤(1b)得到的每个视频片段的各层激活值，将所有视频片段相同层的激活值求和取平均，得到每一层的平均激活值；

(1d)对步骤(1c)中得到的每一层激活值的平均值，使用主成分分析进行降维，得到每个样本的L个特征向量u；

(2)根据特征向量v，获取每个样本的全局特征向量x和局部特征向量y，得到全局特征集合X和局部特征集合Y；实现步骤如下：

(2a)根据步骤(1)中得到的训练样本的L个特征向量v，从C3D网络第层到第L层中选取B个特征向量v，并将这些不同的特征向量v串接在一起得到全局特征向量x，其中，全局特征向量x的维度为q，表示向下取整；

(2b)根据步骤(2a)对每一个样本重复相同过程，得到全局特征集合：X＝[x₁,x₂,...,x_n,...,x_N]，其中，X∈R^q×N，R^q×N为q×N维的向量空间，x_n为第n个样本的全局特征向量，n＝1,2,...,N；

(2c)根据步骤(1)中得到的训练样本的L个特征向量v，从C3D网络第1层到第层中选取E个特征向量v，并将这些不同的特征向量v串接在一起得到局部特征向量y，其中，局部特征向量y的维度为p，表示向下取整；

(2d)根据步骤(2c)对每一个样本重复相同过程，得到局部特征集合：Y＝[y₁,y₂,...,y_m,...,y_N]，其中，Y∈R^p×N，R^p×N为p×N维的向量空间，y_m为第m个样本的局部特征向量，m＝1,2,...,N；

(3)根据全局特征集合X和局部特征集合Y，获取深度3D卷积描述子D_C3D；具体实现步骤如下：

(3a)利用核函数计算全局特征集合X的核矩阵K_X和局部特征集合Y的核矩阵K_Y：

(3a1)根据全局特征集合X，利用多项式核函数，计算全局特征集合X的核矩阵K_X的每一个元素：

(K_X)_ij＝G_X(x_i,x_j)，

其中，i＝1,2,..,N，j＝1,2,..,N，(K_X)_ij为核矩阵K_X的第i行第j列元素，·表示计算内积，x_i为特征集合X中第i个样本的全局特征向量，x_j为特征集合X中第j个样本的全局特征向量，θ₁为多项式核函数核参数；

(3a2)根据局部特征集合Y，利用多项式核函数，计算局部特征集合Y的核矩阵K_Y的每一个元素：

(K_Y)_ηξ＝G_Y(y_η,y_ξ)，

其中，η＝1,2,..,N，ξ＝1,2,..,N；(K_Y)_ηξ为核矩阵K_Y的第η行第ξ列元素，·表示计算内积，y_η为局部特征集合Y中第η个样本的局部特征向量，y_ξ为局部特征集合Y中第ξ个样本的局部特征向量，θ₂为多项式核函数核参数；

(3b)根据步骤(3a)得到的全局特征集合X的核矩阵K_X和局部特征集合Y的核矩阵K_Y，计算深度3D卷积描述子D_C3D：

(3b1)计算全局特征集合X的核类内散度矩阵和核类间散度矩阵

其中，为第k类样本中第u个样本全局特征向量的非线性映射，第k类样本中第u个样本全局特征向量，N_k为第k类样本的样本数量，u＝1,2,..,N_k，k＝1,2,..,C，T为矩阵转置；

(3b2)计算局部特征集合Y的核类内散度矩阵和核类间散度矩阵

其中，为第k类样本中第g个样本局部特征向量的非线性映射，第k类样本中第g个样本局部特征向量，g＝1,2,..,N_k；

(3b3)根据全局特征集合X的核类间散度矩阵和局部特征集合Y的核类间散度矩阵得到互协方差矩阵K_xy和互协方差矩阵K_yx：

其中，cov(·)表示计算协方差；

(3b4)构建一个目标函数：并用该目标函数计算每个特征向量x的投影向量α和每个特征向量y的投影向量β，其中，

(3b5)根据拉格朗日乘子法求解(3b4)得到的目标函数，即将求解目标函数问题转换为求解广义特征值问题，求解广义特征值的公式如下：

其中，λ为广义特征值，全局投影向量α由广义特征值λ对应的特征向量的前N个元素组成，局部投影向量β由广义特征值λ对应的特征向量的后N个元素组成；

(3b6)根据步骤(3b5)求解广义特征值得到的前s个最大特征值，得到全局特征集合X的投影矩阵W_X＝[α₁,α₂,...,α_s]和局部特征集合Y的投影矩阵W_Y＝[β₁,β₂,...,β_s]，其中，s＝min(q,p)，min(·)表示最小值，α₁,α₂,...,α_s为求解广义特征值得到的前s个最大特征值对应的全局投影向量，β₁,β₂,...,β_s为求解广义特征值得到的前s个最大特征值对应的局部投影向量；

(3b7)根据全局特征集合X的核矩阵K_X、局部特征集合Y的核矩阵K_Y、全局特征集合X的投影矩阵W_X和局部特征集合Y的投影矩阵W_Y，得到深度3D卷积描述子：

(4)根据深度3D卷积描述子D_C3D，得到每个训练样本的深度特征向量z^train和每个测试样本的深度特征向量z^test；

(5)根据训练样本的深度特征向量z^train，训练线性SVM分类器；

(6)根据线性SVM分类器，对每个测试样本的深度特征向量z^test进行分类，得到每个测试样本的识别结果。