[发明专利]背景音频构建方法及装置

权利要求书

1.一种背景音频构建方法，其特征在于，包括：

对待处理视频数据进行语义分割生成对应的语义分割图，并基于所述语义分割图提取所述待处理视频数据的语义分割特征，其中，所述语义分割特征包括类别标签分布统计、边缘像素占比统计以及前后关键帧语义分割图差分统计，所述类别标签分布统计为各类别标签对应像素数量的比率，所述边缘像素占比统计为统计像素各类别标签边缘像素占该类别标签总像素数的比率，所述关键帧语义分割图差分统计为对相邻视频分段关键帧对应语义分割图之间相同位置像素类别标签差异进行统计；

提取预先建立的音频集合中各音频文件的音频特征，其中，所述音频特征包括频谱信号和音频类型；

将所述语义分割特征和所述音频特征缩放至相同维度，对所述音频特征与所述语义分割特征进行对齐处理，根据对齐结果在所述音频集合中筛选目标音频文件，并基于所述目标音频文件构建所述待处理视频数据的背景音频；

其中，对所述音频特征与所述语义分割特征进行对齐处理，包括：

将所述音频特征及所述语义分割特征输入音频对齐模型进行对齐处理。

2.根据权利要求1所述的背景音频构建方法，其特征在于，所述对待处理视频数据进行语义分割生成对应的语义分割图，包括：

按照预设时长阈值对所述待处理视频数据进行视频片段切分；

提取切分结果中每个第一视频片段的第一关键帧；

将所述第一关键帧输入语义分割模型进行处理，生成所述每个第一视频片段的第一语义分割图。

3.根据权利要求2所述的背景音频构建方法，其特征在于，所述基于所述语义分割图提取所述待处理视频数据的语义分割特征，包括：

基于所述第一语义分割图提取所述每个第一视频片段的第一语义分割特征；

计算切分结果中各第一视频片段的第一语义分割特征的均值，并将所述均值作为所述待处理视频数据的语义分割特征。

4.根据权利要求2所述的背景音频构建方法，其特征在于，所述语义分割模型通过以下方式训练：

按照所述预设时长阈值对样本视频文件进行视频片段切分；

提取切分结果中每个第二视频片段的第二关键帧；

将所述第二关键帧作为样本数据，并将所述第二关键帧的语义分割图中各像素点的类别标识作为标签，输入待训练的语义分割模型进行训练，获得所述语义分割模型，所述语义分割模型使得所述第二关键帧与所述各像素点的类别标识相关联。

5.根据权利要求1所述的背景音频构建方法，其特征在于，所述提取预先建立的音频集合中各音频文件的音频特征，包括：

按照预设时长阈值对所述音频集合中的各音频文件进行切分；

对切分结果中的每个第一音频片段进行傅里叶变换，生成所述每个第一音频片段的第一频谱信号；

将所述第一频谱信号输入音频特征提取模型进行处理，生成所述音频集合中各音频文件的音频特征。

6.根据权利要求5所述的背景音频构建方法，其特征在于，所述音频特征提取模型通过以下方式训练：

按照预设时长阈值对样本音频文件进行切分；

对切分结果中的每个第二音频片段进行傅里叶变换，生成所述每个第二音频片段的第二频谱信号；

将所述第二频谱信号作为样本数据，并将所述样本音频文件的音频类型作为标签，输入待训练的音频特征提取模型进行训练，获得所述音频特征提取模型，所述音频特征提取模型使得所述第二频谱信号与所述音频类型相关联。

7.根据权利要求1或3所述的背景音频构建方法，其特征在于，所述将所述音频特征与所述语义分割特征进行对齐处理，包括：

按照预设特征维度对所述音频特征及所述语义分割特征进行维度缩放处理，生成目标音频特征及目标语义分割特征；

将所述目标音频特征与所述目标语义分割特征进行对齐处理。