[发明专利]一种基于音乐语义的音乐色彩可视化方法

说明书

本发明涉及一种基于音乐语义的音乐色彩可视化方法，该方法包括：获取包含音乐语义的内容信息；初始化色板，色板中包括多个用于表征音乐色彩的颜色；对内容信息和色板中的颜色信息分别进行编码并融合生成融合编码，基于融合编码采用预先训练的色板生成模型生成对应音乐语义的色板；基于色板中的颜色对音乐进行可视化。与现有技术相比，本发明能够丰富音乐的可视化色彩，通过颜色有效展示音乐语义。

技术领域

本发明涉及音乐色彩可视化技术领域，尤其是涉及一种基于音乐语义的音乐色彩可视化方法。

背景技术

目前，市面上已有许多成熟的音乐可视化工具，大多数音乐播放器中也都嵌有可视化功能，这些工具通过控制图像中形状和颜色的动画效果使歌曲变得生动，丰富了歌曲的视觉效果。其中，变化的形状和颜色可以反映音频特性，例如响度，频率和节奏等。在色彩设计理论中已有许多研究对颜色和语义之间的联系进行了探索，例如，快乐的颜色通常是明亮和温暖的，而悲伤的颜色通常是黑暗和柔和的。同时，音乐也具有内在的语义含义，音乐的语义可以通过相关的文字描述(例如歌词和歌曲描述)、音乐流派(例如摇滚，朋克，电子音乐等)以及视觉设计(例如专辑封面和现场表演海报)反映出来。自然而然地联想到将音乐的语义和色彩的语义相结合进行音乐可视化。但是，大多数现有音乐可视化中使用的颜色通常是随机生成的或从预设色板中选择的，没有考虑到相关的音乐语义和视觉设计。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于音乐语义的音乐色彩可视化方法。

本发明的目的可以通过以下技术方案来实现：

一种基于音乐语义的音乐色彩可视化方法，该方法包括：

获取包含音乐语义的内容信息；

初始化色板，色板中包括多个用于表征音乐色彩的颜色；

对内容信息和色板中的颜色信息分别进行编码并融合生成融合编码，基于融合编码采用预先训练的色板生成模型生成对应音乐语义的色板；

基于色板中的颜色对音乐进行可视化。

优选地，所述的内容信息包括表征音乐流派的类别信息、通过图像形式表征音乐语义的图像信息、通过文字形式表征音乐语音的文字信息。

优选地，所述的类别信息、图像信息和文字信息对应通过类别编码器、图像编码器和文字编码器分别进行编码。

优选地，所述的类别编码器为独热编码器，所述的图像编码器为基于VGG16模型的编码器，所述的文字编码器为基于BERT模型的编码器。

优选地，所述的色板中的颜色信息的编码方式为：将色板中的各个颜色的RGB值组合成向量。

优选地，内容信息和色板中的颜色信息分别进行编码后通过多层感知机进行融合生成融合编码。

优选地，生成对应音乐语义的色板时采用递归形式逐个生成色板中的每个颜色，具体为：一次生成一个颜色，每生成一个颜色后更新色板以及对应的融合编码，基于新的融合编码生成下一个颜色，直至完成色板中所有颜色的生成。

优选地，所述的色板生成模型为条件对抗生成网络，包括生成器和对抗器，生成色板时，将融合编码和噪音输入至所述的生成器，经过全联接层得到生成的颜色对应的颜色编码，颜色编码与融合编码输入至对抗器判断输出是否符合预期。

优选地，基于色板中的颜色对音乐进行可视化的方式为：采用可视化图形展示音乐播放进度，随机采用色板中的颜色对可视化图形进行着色。

优选地，对音乐进行可视化时还包括歌曲频率的同步可视化展示，具体为：提取歌曲频率，改变所述的可视化图形的尺寸大小对歌曲频率进行同步可视化展示。

与现有技术相比，本发明具有如下优点：