[发明专利]直播互动方法、装置、电子设备及可读存储介质

权利要求书

1.一种直播互动方法，其特征在于，应用于主播端，所述主播端中存储有至少一种风格转换模型，每种风格转换模型与一种音色风格相对应，所述方法包括：

根据接收到的音色转换请求，从主播输入的第一音频数据中提取音频特征图，所述音频特征图包括内容特征图，所述音色转换请求包括目标音色风格；

将所述内容特征图输入到预设的特征向量提取网络，提取所述内容特征图的内容特征向量；

采用所述目标音色风格对应的风格转换模型对所述内容特征向量进行转换，得到具有所述目标音色风格的风格转换图；

对所述内容特征图和所述风格转换图进行特征反转换，得到具有该目标音色风格的第二音频数据；

根据所述第二音频数据生成该主播对应的虚拟形象的互动视频流，并发送给客户端进行播放。

2.根据权利要求1所述的直播互动方法，其特征在于，所述风格转换模型利用第一音频样本和任意主播的第二音频样本基于深度学习的神经网络训练获得，其中，所述第一音频样本具有所述目标音色风格。

3.根据权利要求1所述的直播互动方法，其特征在于，在所述根据接收到的音色转换请求，从主播输入的第一音频数据中提取音频特征图之前，所述方法还包括：

预先根据训练样本训练得到所述目标音色风格对应的风格转换模型，具体包括：

获取训练样本，所述训练样本包括第一音频样本和任意主播的第二音频样本，其中，所述第一音频样本具有所述目标音色风格；

分别提取所述第一音频样本的参考风格特征图和所述第二音频样本的内容特征图；

通过所述特征向量提取网络分别提取所述参考风格特征图对应的参考风格特征向量和所述内容特征图对应的内容特征向量；

根据所述内容特征向量和所述参考风格特征向量训练初始转换模型，得到所述目标音色风格对应的风格转换模型，并存储在所述主播端中。

4.根据权利要求3所述的直播互动方法，其特征在于，所述根据所述内容特征向量和所述参考风格特征向量训练初始转换模型，得到所述目标音色风格对应的风格转换模型的步骤，包括：

将所述内容特征向量输入到初始转换模型中，生成所述内容特征向量的参考风格转换图；

通过所述特征向量提取网络提取所述参考风格转换图对应的参考风格转换特征向量；

根据所述内容特征向量、所述参考风格特征向量以及所述参考风格转换特征向量调整所述初始转换模型的网络参数。

5.根据权利要求4所述的直播互动方法，其特征在于，所述根据所述内容特征向量、所述参考风格特征向量以及所述参考风格转换特征向量调整所述初始转换模型的网络参数的步骤，包括：

计算所述参考风格特征向量与所述参考风格转换特征向量之间的第一向量差异值以及所述参考风格转换特征向量与所述内容特征向量之间的第二向量差异值；

根据所述第一向量差异值和所述第二向量差异值进行反向传播训练，并计算所述初始转换模型的网络参数的梯度；

根据计算得到的所述梯度，采用随机梯度下降法更新所述初始转换模型的网络参数后继续训练，直到所述初始转换模型满足训练终止条件时，输出训练得到的所述目标音色风格对应的风格转换模型。

6.根据权利要求5所述的直播互动方法，其特征在于，所述计算所述参考风格特征向量与所述参考风格转换特征向量之间的第一向量差异值以及所述参考风格转换特征向量与所述内容特征向量之间的第二向量差异值的步骤，包括：

生成所述内容特征向量对应的内容特征灰度图、所述参考风格特征向量对应的参考风格灰度图以及所述参考风格转换特征向量对应的参考风格转换特征灰度图；

计算所述参考风格灰度图与所述参考风格转换特征灰度图之间的像素差异值作为所述第一向量差异值，并计算所述参考风格转换特征灰度图与所述内容特征灰度图之间的像素差异值作为所述第二向量差异值。