[发明专利]基于Transformer的多视角3D姿态估计系统

权利要求书

1.一种基于Transformer模块的多视角3D姿态估计系统，其特征在于，其包括若干

单视角时空Transformer特征提取模块和多视角Transformer特征交换模块两个部分；其中：

单视角时空Transformer特征提取模块，其对输入的多视角2D骨架序列分别提取不同视角的时空域特征信息；

多视角Transformer特征交换模块，将不同视角的时空域特征信息两两交换，然后经过回归头输出最终的多视角3D姿态估计结果。

2.根据权利要求1所述的多视角3D姿态估计系统，其特征在于，单视角时空Transformer特征提取模块包括姿态和位置嵌入层与嵌套Transformer块两部分，姿态和位置嵌入层将关节和姿态分别嵌入到单词token和句子token，嵌套Transformer块接收来自姿态和位置嵌入层的单词token和句子token从单词token和句子token中提取和传递特征；其中；

(1)姿态和位置嵌入层

给定T帧的输入姿态序列每一帧P_i包含N个关节的2D坐标J_i,k；使用Rⁿ来表示维度为n的特征空间，则有J_i,k∈R²，i∈1,2,...,T，k∈1,2,...,N；为了构造单词token和句子token分别使用线性层和作为姿态嵌入和位置嵌入，其中d_w和d_s分别是单词和句子的特征维度；单词token和句子token的构造过程用公式(1)和(2)表示：

公式中的和分别是单词和句子的输入嵌入的权值和偏置；和分别表示第i个句子中的所有单词和所有的句子，∥表示逐通道级联；单词和句子的位置嵌入在空间和时间维度上显式地编码索引；

(2)嵌套Transformer块

获得单词token和句子token后，对这些token应用一系列的嵌套Transformer块来提取和传递特征；在每个嵌套Transformer块的外子块和内子块之间应用线性变换和逐元素累和，将空间关系传递给句子token，嵌套Transformer块的特征提取和传递过程用公式(3)，(4)和(5)表示：

公式中的和分别表示线性变换的权值和偏置，l表示嵌套层号，∥表示逐通道级联。

3.根据权利要求2所述的多视角3D姿态估计系统，其特征在于，单视角时空Transformer特征提取模块中，在一系列嵌套Transformer块之后，使用回归头推理出的单视角3D姿态序列作为中间监督。