[发明专利]一种基于音乐语义的音乐色彩可视化方法

权利要求书

1.一种基于音乐语义的音乐色彩可视化方法，其特征在于，该方法包括：

获取包含音乐语义的内容信息；

初始化色板，色板中包括多个用于表征音乐色彩的颜色；

对内容信息和色板中的颜色信息分别进行编码并融合生成融合编码，基于融合编码采用预先训练的色板生成模型生成对应音乐语义的色板；

基于色板中的颜色对音乐进行可视化。

2.根据权利要求1所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，所述的内容信息包括表征音乐流派的类别信息、通过图像形式表征音乐语义的图像信息、通过文字形式表征音乐语音的文字信息。

3.根据权利要求2所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，所述的类别信息、图像信息和文字信息对应通过类别编码器、图像编码器和文字编码器分别进行编码。

4.根据权利要求3所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，所述的类别编码器为独热编码器，所述的图像编码器为基于VGG16模型的编码器，所述的文字编码器为基于BERT模型的编码器。

5.根据权利要求1所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，所述的色板中的颜色信息的编码方式为：将色板中的各个颜色的RGB值组合成向量。

6.根据权利要求1所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，内容信息和色板中的颜色信息分别进行编码后通过多层感知机进行融合生成融合编码。

7.根据权利要求1所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，生成对应音乐语义的色板时采用递归形式逐个生成色板中的每个颜色，具体为：一次生成一个颜色，每生成一个颜色后更新色板以及对应的融合编码，基于新的融合编码生成下一个颜色，直至完成色板中所有颜色的生成。

8.根据权利要求1所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，所述的色板生成模型为条件对抗生成网络，包括生成器和对抗器，生成色板时，将融合编码和噪音输入至所述的生成器，经过全联接层得到生成的颜色对应的颜色编码，颜色编码与融合编码输入至对抗器判断输出是否符合预期。

9.根据权利要求1所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，基于色板中的颜色对音乐进行可视化的方式为：采用可视化图形展示音乐播放进度，随机采用色板中的颜色对可视化图形进行着色。

10.根据权利要求9所述的一种基于音乐语义的音乐色彩可视化方法，其特征在于，对音乐进行可视化时还包括歌曲频率的同步可视化展示，具体为：提取歌曲频率，改变所述的可视化图形的尺寸大小对歌曲频率进行同步可视化展示。