[发明专利]直播互动方法、装置、电子设备及可读存储介质

说明书

本申请实施例提供一种直播互动方法、装置、电子设备及可读存储介质，通过从主播输入的第一音频数据中提取内容特征图并通过预设的特征向量提取网络提取内容特征向量，而后采用目标音色风格对应的风格转换模型对内容特征向量进行转换，得到具有目标音色风格的风格转换图。接着对内容特征图和风格转换图进行特征反转换，得到具有该目标音色风格的第二音频数据。最后，根据第二音频数据生成该主播对应的虚拟形象的互动视频流，并发送给客户端进行播放。如此，能够针对任意主播，在不改变音频内容的同时，将虚拟形象直播过程中的音色风格转换为目标音色风格以与观众进行互动，进而提高直播过程中的互动效果，更大程度上地调动观众与主播的互动。

技术领域

本申请涉及互联网直播领域，具体而言，涉及直播互动方法、装置、电子设备及可读存储介质。

背景技术

在互联网直播中，以虚拟形象代替主播的实际形象参与到直播互动中，是目前较为流行的一种直播方式。

目前的直播方式中，虚拟形象的音色大多采用主播的原音色风格或者预先固定的某一种音色风格提供直播数据流，无法将其转换为其它音色风格与观众进行互动，如此无法满足特定主播或特定观众的某些特定需求，从而会导致互动直播效果降低。例如观众可能更希望听到的声音是自己所喜欢明星的音色风格，或是自己熟悉的人的音色风格。又例如，主播可能并不希望将自己的音色风格展示给其它观众而暴露隐私问题。

发明内容

有鉴于此，本申请实施例的目的在于提供一种直播互动方法、装置、电子设备及可读存储介质，以解决上述问题。

根据本申请实施例的一个方面，提供一种电子设备，可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可执行指令。当电子设备运行时，所述处理器执行所述机器可执行指令，以执行直播互动方法。

根据本申请实施例的另一方面，提供一种直播互动方法，应用于主播端，所述主播端中存储有至少一种风格转换模型，每种风格转换模型与一种音色风格相对应，所述方法包括：

根据接收到的音色转换请求，从主播输入的第一音频数据中提取音频特征图，所述音频特征图包括内容特征图，所述音色转换请求包括目标音色风格；

将所述内容特征图输入到预设的特征向量提取网络，提取所述内容特征图的内容特征向量；

采用所述目标音色风格对应的风格转换模型对所述内容特征向量进行转换，得到具有所述目标音色风格的风格转换图；

对所述内容特征图和所述风格转换图进行特征反转换，得到具有该目标音色风格的第二音频数据；

根据所述第二音频数据生成该主播对应的虚拟形象的互动视频流，并发送给客户端进行播放。

根据本申请实施例的另一方面，提供一种直播互动装置，应用于主播端，所述主播端中存储有至少一种风格转换模型，每种风格转换模型与一种音色风格相对应，所述装置包括：

提取模块，用于根据接收到的音色转换请求，从主播输入的第一音频数据中提取音频特征图，所述音频特征图包括内容特征图，所述音色转换请求包括目标音色风格；

输入模块，用于将所述内容特征图输入到预设的特征向量提取网络，提取所述内容特征图的内容特征向量；

转换模块，用于采用所述目标音色风格对应的风格转换模型对所述内容特征向量进行转换，得到具有所述目标音色风格的风格转换图；

反转换模块，用于对所述内容特征图和所述风格转换图进行特征反转换，得到具有该目标音色风格的第二音频数据；

生成发送模块，用于根据所述第二音频数据生成该主播对应的虚拟形象的互动视频流，并发送给客户端进行播放。