[发明专利]一种舞蹈生成方法、装置、设备及存储介质

说明书

本申请实施例提供一种舞蹈生成方法、装置、设备及存储介质。在该方法中，可获取待合成舞蹈的目标音频的特征值信息；利用音频‑舞姿匹配模型，从预设的舞姿编码库中为多个音频子片段各自对应的音频特征值匹配符合预设条件的舞姿编码，得到舞姿编码序列；并利用舞姿生成模型，将舞姿编码序列中的舞姿编码转换为对应的舞蹈动作信息，得到目标音频对应的舞蹈动作序列。其中，音频‑舞姿匹配模型预先通过舞蹈训练集中的音乐数据和舞蹈数据，学习音乐的音频特征值和舞蹈的舞姿编码的匹配关系。通过这种方式，可利用音频‑舞姿匹配模型为音频中的每个子片段匹配与该音频子片段更加契合的舞蹈动作，使得整个音频对应的舞蹈动作更加自然和协调。

技术领域

本申请实施例涉及人工智能领域，尤其涉及一种舞蹈生成方法、装置、设备及存储介质。

背景技术

近年来，计算机视觉(Computer Vision，CV)技术在越来越多的领域得到广泛应用。作为计算机视觉领域的一个重要研究方向，由音乐驱动的舞蹈生成具有丰富的应用前景。比如，在虚拟直播、虚拟客服、虚拟游戏等场景中，可将生成的人体舞蹈应用到受控对象上，使得受控对象可以随音乐而舞动。

现有技术中，可将音频信号与3D人体关键点序列建立联系，从而得到音频对应的舞蹈动作，即，在不同音乐节拍下，控制受控对象的各个人体关键点到达预设位置，以使受控对象产生舞动的动作效果。然而，这种方式下生成的舞蹈动作是由音频信号直接映射得来的，导致舞蹈动作不够自然和协调，可能会违背人体的行为逻辑。因此，亟待提出一种解决方案。

发明内容

本申请实施例提供一种舞蹈生成方法、装置、设备及存储介质，用以为音频中的每个子片段匹配与该音频子片段更加契合的舞蹈动作，使得整个音频对应的舞蹈动作更加自然和协调。

本申请实施例提供一种舞蹈生成方法，包括：获取待合成舞蹈的目标音频的特征值信息；所述特征值信息包括：所述目标音频中的多个音频子片段各自对应的音频特征值；利用音频-舞姿匹配模型，从预设的舞姿编码库中，为所述多个音频子片段各自对应的音频特征值匹配符合预设条件的舞姿编码，得到舞姿编码序列；利用舞姿生成模型，将所述舞姿编码序列中的舞姿编码转换为对应的舞蹈动作信息，得到所述目标音频对应的舞蹈动作序列；其中，所述音频-舞姿匹配模型预先采用深度学习算法，通过舞蹈训练集中的音乐数据和舞蹈数据，学习音乐的音频特征值和舞蹈的舞姿编码的匹配关系；所述舞姿生成模型预先采用深度学习算法，通过舞蹈训练集中的舞蹈数据，学习舞蹈的舞姿编码和舞蹈动作信息的转换关系。

进一步可选地，获取目标音频的特征值信息，包括：利用音频特征值提取模型，确定所述目标音频中的多个音频子片段各自对应的音频特征值；其中，所述音频特征值提取模型，预先通过舞蹈训练集中的音乐数据，学习音乐数据与音频特征值的关系。

进一步可选地，利用音频特征值提取模型，确定所述目标音频中的多个音频子片段各自对应的音频特征值，包括：在所述音频特征值提取模型中，对所述目标音频进行分帧处理，得到多个音频子片段；根据相邻音频子片段之间的音频变化趋势和每个音频子片段内的音频变化趋势，计算得到所述多个音频子片段对应的音频特征值。

进一步可选地，所述舞姿编码库，包括：多个舞姿类型各自的至少一个舞姿编码；利用所述音频-舞姿匹配模型，从预设的舞姿编码库中，为所述多个音频子片段各自对应的音频特征值匹配符合预设条件的舞姿编码，得到舞姿编码序列，包括：针对所述多个音频子片段中的任一音频子片段，利用所述音频-舞姿匹配模型，确定所述音频子片段对应的音频特征值所属的目标音频类型；根据预设的音频类型与舞姿类型的对应关系，确定所述目标音频类型对应的舞姿类型，作为所述音频子片段对应的目标舞姿类型；从所述目标舞姿类型的至少一个舞姿编码中，选取与所述音频子片段匹配的舞姿编码，作为所述音频子片段的目标舞姿编码；根据所述多个音频子片段的排列顺序，对所述多个音频子片段各自的目标舞姿编码进行排序，得到所述舞姿编码序列。