[发明专利]一种数智董秘生成方法及装置

权利要求书

1.一种数智董秘生成方法，其特征在于，包括：

获取董秘文本数据样本和音频数据样本；

将所述文本数据样本和音频数据样本通过语音合成技术和语音克隆技术生成数智董秘的声音；

获取董秘形象视频样本；

将数智董秘的声音和董秘形象视频样本输入到预先训练好的数字人生成模型中，得到数智董秘形象；

通过人脸数据增强技术增强数智董秘的脸部细节；

通过背景去除算法将数智董秘切换至虚拟场景。

2.根据权利要求1所述的数智董秘生成方法，其特征在于，所述将所述文本数据样本和音频数据样本通过语音合成技术和语音克隆技术生成数智董秘的声音，具体包括：

提取所述音频数据样本的音色向量；

用所述文本数据样本结合所述音色向量，产生将所述音频数据样本中说话人特征融入到所述文本数据样本对应的语音频谱；

根据所述语音频谱生成数智董秘的声音。

3.根据权利要求2所述的数智董秘生成方法，其特征在于，所述用所述文本数据样本结合所述音色向量，产生将所述音频数据样本中说话人特征融入到所述文本数据样本对应的语音频谱时采用FastPitch作为主干网络。

4.根据权利要求2所述的数智董秘生成方法，其特征在于，所述根据所述语音频谱生成数智董秘的声音时采用声码器HiFiGAN。

5.根据权利要求1所述的数智董秘生成方法，其特征在于，所述数字人生成模型为Wav2lip模型。

6.根据权利要求1所述的数智董秘生成方法，其特征在于，所述人脸数据增强技术为基于GFP-GAN的人脸数据增强技术。

7.根据权利要求1所述的数智董秘生成方法，其特征在于，所述背景去除算法采用U2Net。

8.一种数智董秘生成装置，其特征在于，包括：

第一数据获取模块，用于获取董秘文本数据样本和音频数据样本；

数智董秘声音生成模块，用于将所述文本数据样本和音频数据样本通过语音合成技术和语音克隆技术生成数智董秘的声音；

第二数据获取模块，用于获取董秘形象视频样本；

数智董秘形象生成模块，用于将数智董秘的声音和董秘形象视频样本输入到预先训练好的数字人生成模型中，得到数智董秘形象；

数智董秘脸部增强模块，用于通过人脸数据增强技术增强数智董秘的脸部细节；

虚拟场景切换模块，用于通过背景去除算法将数智董秘切换至虚拟场景。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。