[发明专利]骨骼检测装置及其使用方法、训练方法和训练装置

权利要求书

1.一种骨骼检测装置，所述装置包括：

运动描述符提取模块，用于接收图像序列和获取图像序列中的运动物体的运动信息，所述运动物体具有关节结构和骨骼，所述关节结构用于连接所述骨骼；

运动特征提取模块，用于接收所述运动物体的运动信息和从所述运动物体的运动信息中获得所述运动物体的运动特征；

骨骼检测模块，用于接收所述运动物体的运动特征和从所述运动物体的运动特征中确定所述图像序列中的属于所述运动物体的骨骼的像素点。

2.根据权利要求1所述的骨骼检测装置，所述装置还包括：

聚类模块，用于接收所述运动物体的运动特征和从所述运动物体的运动特征中提取时空特征，并对所述时空特征进行聚类以确定所述图像序列中的属于所述运动物体的不同骨骼的像素点。

3.根据权利要求1所述的骨骼检测装置，所述运动描述符提取模块根据所述图像序列中的每一帧中的像素点与所述每一帧的前一帧的像素点在频域的相位差，获取所述每一帧中的运动物体的运动信息。

4.根据权利要求3所述的骨骼检测装置，所述运动描述符提取模块根据所述图像序列中的每一帧中的像素点与所述每一帧的前一帧的像素点在频域的相位差，获取所述每一帧中的运动物体的运动信息，包括：

所述运动描述符提取模块利用所述每一帧的像素点在频域的振幅对所述每一帧中的像素点与所述每一帧的前一帧的像素点在频域的相位差进行加权，得到所述每一帧中的运动物体的运动信息。

5.根据权利要求1所述的骨骼检测装置，所述运动描述符提取模块包括复数可控金字塔模型。

6.根据权利要求1所述的骨骼检测装置，所述运动特征提取模块和所述骨骼检测模块包括多个神经网络层。

7.根据权利要求2所述的骨骼检测装置，所述聚类模块包括门控循环网络、卷积层以及聚类层。

8.一种骨骼检测装置的训练方法，所述骨骼检测装置包括运动描述符提取模块、运动特征提取模块和骨骼检测模块，所述方法包括：

将图像序列输入所述运动描述符提取模块，以获取图像序列中的运动物体的运动信息，所述运动物体具有关节结构和骨骼，所述关节结构用于连接所述骨骼；

将所述运动物体的运动信息输入至所述运动特征提取模块，以获得所述运动物体的运动特征；

将所述运动物体的运动特征输入至所述骨骼检测模块，以确定所述图像序列中的属于所述运动物体的骨骼的像素点；

根据所述图像序列中的属于所述运动物体的骨骼的像素点与所述图像序列中的像素点的标注结果，更新所述运动特征提取模块和所述骨骼检测模块。

9.根据权利要求8所述的训练方法，所述骨骼检测装置还包括聚类模块，所述方法还包括:

将所述运动物体的运动特征输入所述聚类模块，以从所述运动物体的运动特征中提取时空特征，并对所述时空特征进行聚类而确定所述图像序列中的属于所述运动物体的不同骨骼的像素点；

根据所述聚类的聚类结果，更新所述运动特征提取模块和所述聚类模块。

10.根据权利要求8所述的训练方法，所述图像序列中的运动物体的数据为带标注的人体数据。

11.一种基于骨骼检测装置的骨骼检测方法，所述骨骼检测装置包括运动描述符提取模块、运动特征提取模块和骨骼检测模块，所述方法包括：

将图像序列输入所述运动描述符提取模块，以获取图像序列中的运动物体的运动信息，所述运动物体具有关节结构和骨骼，所述关节结构用于连接所述骨骼；

将所述运动物体的运动信息输入至所述运动特征提取模块，以获得所述运动物体的运动特征；

将所述运动物体的运动特征输入至所述骨骼检测模块，以确定所述图像序列中的属于所述运动物体的骨骼的像素点。