[发明专利]基于Transformer的多视角3D姿态估计系统

说明书

本发明属于计算机视觉领域，具体涉及一种基于Transformer的多视角3D姿态估计系统。该系统按照处理流程先后顺序分为单视角时空Transformer特征提取模块和多视角Transformer特征交换模块两个部分。单视角时空Transformer特征提取模块对输入的多视角姿态序列提取不同视角的时空域特征信息；多视角Transformer特征交换模块，将不同视角的时空域特征信息两两交换，然后经过回归头输出最终的3D姿态估计结果。本发明能充分利用姿态序列间的时间上下文和空间关系，在不同视角间充分进行特征交换和传输，提高了3D姿态估计结果的准确度。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于Transformer的多视角3D姿态估计系统。该系统在3D姿态估计任务上具有良好的表现。

背景技术

2D-3D姿态估计是3D姿态估计领域中的热门研究方向，是上层任务(例如行人再识别、人机交互、行为识别等)的基础。3D姿态估计根据人体关键点的2D坐标预测出人体各关键点的3D坐标。2D-3D姿态估计领域的主要问题是深度模糊，指的是由于2D骨架丢失了深度信息，姿态估计模型难以推测2D骨架中各关键点距离镜头的真实距离。目前有的工作使用视频来解决深度模糊问题，利用相邻帧从2D骨架序列中预测人体关键点的3D坐标，但这种隐式提取时空关系的方法准确率较低。有的工作使用多视角图像来显式地预测深度信息，但这种基于多视角的方法通常需要大量的计算资源来构建三维空间表示，很难实际应用和进一步优化。

发明内容

为解决现有技术存在的问题，本发明针对目前相关工作利用相邻视频帧来恢复深度信息的准确率较低，或是利用多视角图像而引入了额外计算量的问题，提出了一种基于时空Transformer模块的多视角3D姿态估计系统，其能以提高3D姿态估计任务的准确率和速度。

本发明提出的一种基于Transformer的多视角3D姿态估计系统按照处理流程先后顺序分为两个部分：单视角时空Transformer特征提取模块和多视角Transformer特征交换模块。整个系统的示意图如图1所示。

不同视角的2D骨架序列通过分别输入单视角时空Transformer特征提取模块来提取不同视角的时空域特征信息；多视角Transformer特征交换模块将不同视角的时空域特征信息两两交换，然后经过回归头输出最终的3D姿态估计结果。

下面介绍系统的具体内容：

一、单视角时空Transformer特征提取模块

单视角时空Transformer特征提取模块(Single-view Spatial and TemporalTransformer，S-ST²)包括姿态和位置嵌入层与嵌套Transformer块两部分，其网络结构如图2所示。

(1)姿态和位置嵌入层

姿态和位置嵌入层将关节和姿态分别嵌入到单词token和句子token，为嵌套Transformer块的先导部分。给定T帧的输入姿态序列每一帧P_i包含N个关节的2D坐标J_i,k。使用Rⁿ来表示维度为n的特征空间，则有J_i,k∈R²，i∈1,2,...,T，k∈1,2,...,N；为了构造单词token和句子token分别使用线性层和作为姿态嵌入和位置嵌入，其中d_w和d_s分别是单词和句子的特征维度。其构造过程可以用公式(1)和(2)表示：

公式中的和分别是单词和句子的输入嵌入的权值和偏置。和分别表示第i个句子中的所有单词和所有的句子，∥表示逐通道级联，单词和句子的位置嵌入在空间和时间维度上显式地编码索引。

(2)嵌套Transformer块