[发明专利]基于语义级领域不变特征的跨域人体动作识别方法

权利要求书

1.基于语义级领域不变特征的跨域人体动作识别方法，其特征在于，利用由2个分类器构成的并行分类对抗学习网络架构来引导特征提取器从输入数据中提取具有领域不变性的语义级特征，提高跨域人体动作识别模型的分类性能；

具体步骤如下：

步骤1：输入RGB帧序列：

从有标签的源域与无标签的目标域数据集中输入RGB帧序列数据X_i，源域样本数为N_s，目标域样本数为N_T，i＝1,2,…,N_s∪T，源域数据对应的标签为y_j，j＝1,2,…,N_s；

步骤2：帧级特征提取：

帧级特征提取模块由通用特征提取子网络和动作识别特定任务特征变换子网络组成，从输入的帧序列中提取帧级特征G(X_i)，G()表示特征提取模块；

步骤3：特征时空聚集：

沿时间维度对提取的空间帧级特征进行均值池化聚集，形成视频级特征为第i个视频样本的特征序列的第t个等间隔采样帧，τ＝5为对每个样本的等间隔采样帧数；

步骤4：领域适配对抗学习模块：

对抗学习模块表示为D()，该模块由梯度反转层、域判别层和批归一化层组成，从该模块的输出来计算域对抗损失：

CE(·,·)为交叉熵损失函数，d_i为领域标签，当f_i来自源域时d_i＝0，当f_i来自目标域时d_i＝1；

步骤5：分类器：

(5a)分类器由2个并行的分支构成：分类器1和分类器2，分别表示为C¹()和C²()；这2个分类器具有相同的网络结构；p⁽¹⁾、p⁽²⁾分别为分类器1和分类器2的输出结果，p＝(p⁽¹⁾+p⁽²⁾)/2为分类器对样本X_i的最终预测结果；从分类器的预测结果中计算有标签的源域样本数据的分类损失

(5b)对分类器1和分类器2的权值矩阵按列展开成向量，分别表示为w⁽¹⁾和w⁽²⁾，计算分类器差异化损失：

步骤6：训练基于语义级领域不变特征的跨域人体动作识别模型：

(6a)计算模型的训练损失L＝L_c+αL_diff-βL_adv，α,β的值分别设置为0.01和0.005；

(6b)利用随机梯度下降算法训练特征变换子网络、领域适配对抗学习模块、分类器1和分类器2；

步骤7：对目标域中的数据进行分类：

(7a)将目标域中的待分类样本X^T输入到帧级特征提取器中，得到帧级特征G(X^T)；

(7b)对帧级特征进行时空聚集，得到视频级特征f^T；

(7c)将f^T分别输入到分类器1和分类器2中，将两个分类器的输出结果进行均值融合后得到最终的分类结果。