[发明专利]一种互动音乐生成方法、装置、智能音箱及存储介质

权利要求书

1.一种互动音乐生成方法，其特征在于，应用于智能音箱，包括：

获取待处理视频，提取所述待处理视频中的图像帧；

将所述图像帧输入至预先训练好的音乐生成模型中，获得所述音乐生成模型输出的互动音乐；

将所述互动音乐进行播放。

2.根据权利要求1所述的方法，其特征在于，所述音乐生成模型包括特征提取网络模块和音乐生成网络模块，所述将所述图像帧输入至预先训练好的音乐生成模型中，获得所述音乐生成模型输出的互动音乐，包括：

将所述图像帧输入至所述特征提取网络模块中，获得所述特征提取网络输出的图像特征向量；

将所述图像特征向量输入至所述音乐生成网络模块中，获得所述音乐生成网络输出的互动音乐。

3.根据权利要求2所述的方法，其特征在于，还包括：

获取样本图像帧以及所述样本图像帧对应的样本音乐；

基于所述样本图像帧以及所述样本图像帧对应的样本音乐构建音乐生成模型训练样本对，使用所述音乐生成模型训练样本对对预先构建的音乐生成模型进行训练，得到训练好的音乐生成模型。

4.根据权利要求3所述的方法，其特征在于，在使用所述音乐生成模型训练样本对对预先构建的音乐生成模型进行训练之前，还包括：

将自编码网络模型中编码网络的卷积层设置参数设置为目标设置参数，得到构建好的特征提取网络模块。

5.根据权利要求2所述的方法，其特征在于，还包括：

获取样本图像帧以及所述样本图像帧对应的样本音乐；

基于所述样本图像帧构建自编码网络训练样本集，使用自编码网络训练样本集对预先构建的自编码网络模型进行训练，得到训练好的自编码网络模型，并将训练好的自编码网络模型中的编码网络作为所述特征提取网络模块；

将所述样本图像帧输入至所述特征提取网络模块中，获取所述特征提取网络模块输出的样本图像特征向量；

基于所述样本图像特征向量以及所述样本图像特征向量对应的样本音乐构建音乐生成网络训练样本对，使用所述音乐生成网络训练样本对对预先构建的音乐生成网络模块进行训练，得到训练好的音乐生成网络模块；

根据训练好的特征提取网络模块和训练好的音乐生成网络模块得到训练好的音乐生成模型。

6.根据权利要求2所述的方法，其特征在于，还包括：

在循环神经网络与wavenet网络之间添加傅里叶变换模块，得到构建好的音乐生成网络模块。

7.根据权利要求1所述的方法，其特征在于，所述提取所述待处理视频中的图像帧，包括：

按照设定帧数间隔抽取所述待处理视频中的视频帧作为所述图像帧。

8.一种互动音乐生成装置，其特征在于，包括：

图像帧获取模块，用于获取待处理视频，提取所述待处理视频中的图像帧；

互动音乐生成模块，用于将所述图像帧输入至预先训练好的音乐生成模型中，获得所述音乐生成模型输出的互动音乐；

互动音乐播放模块，用于将所述互动音乐进行播放。

9.一种智能音箱，其特征在于，所述音箱包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的互动音乐生成方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的互动音乐生成方法。