[发明专利]基于视觉的舞谱生成方法、装置、设备及存储介质

权利要求书

1.一种基于视觉的舞谱生成方法，其特征在于，包括：

接收多个深度摄像装置发送的舞者完成目标舞蹈的视频数据，所述视频数据为所述多个深度摄像装置在舞者完成所述目标舞蹈过程中所采集的带有深度信息的视频数据；

根据所述视频数据，得到目标舞者在完成所述目标舞蹈过程中的三维人体运动轨迹；所述三维人体运动轨迹包括多个时刻下人体表面特征点的三维坐标；

获取在所述目标舞蹈的每个最小节奏单位内的多个不同的目标时刻、所述人体表面特征点的三维坐标；

根据所述三维人体运动轨迹中人体表面特征点的三维坐标的数量，计算在所述多个不同的目标时刻所述人体表面特征点的三维坐标的均值坐标；所述人体表面特征点的均值坐标构成所述最小节奏单位内所述舞者的肢体形态；

根据舞谱符号对应的肢体形态信息，确定所述目标舞蹈的每个最小节奏单位内所述目标舞者的肢体形态对应的舞谱符号，生成所述目标舞蹈对应的舞谱。

2.根据权利要求1所述的方法，其特征在于，所述多个深度摄像装置的拍摄角度均不相同，两个相邻的所述深度摄像装置所拍摄的图像部分重叠。

3.根据权利要求2所述的方法，其特征在于，所述根据所述视频数据，得到所述舞者在完成所述目标舞蹈过程中的三维人体运动轨迹，包括：

从多个不同角度拍摄的所述视频数据中，获取同一时刻的多个图像帧；

提取所述多个图像帧中的人体表面特征点，所述人体表面特征点在该时刻出现在至少两个相邻角度的所述图像帧中；

根据每个所述人体表面特征点在该时刻出现在的至少两个相邻角度的所述图像帧，计算所述人体表面特征点在该时刻的三维坐标。

4.一种基于视觉的舞谱生成装置，其特征在于，包括：

数据获取模块，用于接收多个深度摄像装置发送的舞者完成目标舞蹈的视频数据，所述视频数据为所述多个深度摄像装置在舞者完成所述目标舞蹈过程中所采集的带有深度信息的视频数据；

处理模块，用于根据所述视频数据，得到目标舞者在完成所述目标舞蹈过程中的三维人体运动轨迹；所述三维人体运动轨迹包括多个时刻下人体表面特征点的三维坐标；获取在最小节奏单位内的多个不同的目标时刻、所述人体表面特征点的三维坐标；根据所述三维人体运动轨迹中人体表面特征点的三维坐标的数量，计算在所述多个不同的目标时刻所述人体表面特征点的三维坐标的均值坐标；所述人体表面特征点的均值坐标构成所述最小节奏单位内所述舞者的肢体形态；

舞谱生成模块，用于根据舞谱符号对应的肢体形态信息，确定所述目标舞蹈的每个最小节奏单位内所述目标舞者的肢体形态对应的舞谱符号，生成所述目标舞蹈对应的舞谱。

5.根据权利要求4所述的装置，其特征在于，

所述多个深度摄像装置的拍摄角度均不相同，两个相邻的所述深度摄像装置所拍摄的图像部分重叠。

6.根据权利要求5所述的装置，其特征在于，所述处理模块还用于：

从多个不同角度拍摄的所述视频数据中，获取同一时刻的多个图像帧；

提取所述多个图像帧中的人体表面特征点，所述人体表面特征点在该时刻出现在至少两个相邻角度的所述图像帧中；

根据每个所述人体表面特征点在该时刻出现在的至少两个相邻角度的所述图像帧，计算所述人体表面特征点在该时刻的三维坐标。

7.一种舞谱生成设备，其特征在于，包括：

存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，

所述处理器运行所述计算机程序时实现如权利要求1-3中任一项所述的方法。

8.一种舞谱生成系统设备，其特征在于，包括：

多个摄像装置，用于在舞者完成所述目标舞蹈过程中采集舞者完成目标舞蹈的视频数据，所述多个摄像装置的拍摄角度均不相同，两个相邻的所述摄像装置所拍摄的图像部分重叠；

存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，

所述处理器运行所述计算机程序时实现如权利要求1-3中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，存储有计算机程序，

所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述的方法。