[发明专利]视频生成方法及装置、存储介质、终端

说明书

一种视频生成方法及装置、存储介质、终端，所述方法包括:获取待处理文本；将所述待处理文本转化为音节序列；将所述音节序列输入至视频生成模型，以得到所述视频生成模型输出的虚拟数字对象的视频；其中，所述视频生成模型是采用第一训练数据对第一预设模型进行训练得到的，所述第一训练数据包括第一样本音节序列和第一样本图像序列，所述第一样本音节序列是由第一样本文本转化得到的，所述第一样本图像序列中的图像包含所述虚拟数字对象脸部的影像，且所述第一样本图像序列中所述虚拟数字对象的唇形与所述第一样本文本相匹配。通过本发明的方案，可以高效地生成虚拟数字对象的唇形视频。

技术领域

本发明涉及一种人工智能技术领域，尤其涉及一种视频生成方法及装置、存储介质、终端。

背景技术

随着虚拟数字对象技术的发展，越来越多的领域应用虚拟数字对象与用户进行交互，例如，虚拟主持人和虚拟主播等。其中，虚拟数字对象的视频是否真实自然是影响用户交互体验的重要因素。现有技术中，生成虚拟数字对象的唇形视频的效率较低，例如，虚拟数字对象的唇形视频依赖于特定说话人的限制，或者，虚拟数字对象的唇形视频依赖于复杂的人脸模型等。

因此，亟需一种视频生成方法，能够高效地生成真实自然的虚拟数字对象的唇形视频。

发明内容

本发明解决的技术问题是提供一种视频生成方法，能够高效地生成真实自然的虚拟数字对象的唇形视频。

为解决上述技术问题，本发明实施例提供一种视频生成方法，所述方法包括：获取待处理文本；将所述待处理文本转化为音节序列；将所述音节序列输入至视频生成模型，以得到所述视频生成模型输出的虚拟数字对象的视频；其中，所述视频生成模型是采用第一训练数据对第一预设模型进行训练得到的，所述第一训练数据包括第一样本音节序列和第一样本图像序列，所述第一样本音节序列是由第一样本文本转化得到的，所述第一样本图像序列中的图像包含所述虚拟数字对象脸部的影像，且所述第一样本图像序列中所述虚拟数字对象的唇形与所述第一样本文本相匹配。

可选的，获取待处理文本包括：获取输入音频；对所述输入音频进行语音识别，以得到所述待处理文本。

可选的，所述音节序列包括多个音节标识和每个音节标识的时间信息，所述音节标识用于唯一标识音节，所述时间信息用于指示所述音节在所述待处理文本对应的音频信息中的发音时间，将所述待处理文本转化为音节序列包括：将所述待处理文本转化为音节文本，所述音节文本包括所述多个音节标识；对所述音节文本和所述待处理文本对应的音频信息进行时间对齐处理，以得到所述音节序列。

可选的，对所述音节文本和所述待处理文本对应的音频数据进行时间对齐处理，以得到所述音节序列包括：对所述音节文本和所述音频数据进行时间对齐处理，以得到时间对齐后的音节文本，所述时间对齐后的音节文本包括所述音节标识与所述发音时间之间的对应关系；按照预设的时间步长对所述对齐后的音节文本进行采样，以得到所述音节序列。

可选的，将所述待处理文本转化为音节文本包括：将所述待处理文本转化为初始音节文本，所述初始音节文本包括多个音节；读取预先构建的音节字典；根据所述初始音节文本中每个音节在所述音节字典中的位置，确定该音节对应的音节标识。

可选的，待处理文本包含汉字和汉字以外的其他类型的文字，其中，所述其他类型的文字的字数占所述待处理文本的总字数的比例小于或等于预设的比例阈值，将所述待处理文本转化为初始音节文本包括：将所述其他类型的文字替换为发音相近的汉字，以得到替换后的待处理文本；将所述替换后的待处理文本输入至汉字拼音转换模型，以得到所述初始音节文本。

可选的，所述音节标识为对应的音节在所述音节字典中的位置编码。