[发明专利]视频合成方法、视频合成装置、电子设备及存储介质

说明书

本申请提供了一种视频合成方法、视频合成装置、电子设备及存储介质，属于金融科技技术领域。该方法包括：获取目标人物图像、目标音频数据、参考人物视频数据；对目标人物图像进行语义分割，得到目标人物前景图像，并对目标人物前景图像进行特征提取，得到目标人脸特征；对目标音频数据、参考人物视频数据进行特征提取，分别得到目标音频内容特征、参考人物姿势特征和参考人物唇形特征；基于目标人脸特征、目标音频内容特征、参考人物姿势特征和参考人物唇形特征，得到目标组合特征向量；基于视频合成模型对目标组合特征向量进行视频合成，得到初始合成视频；对初始合成视频进行背景替换，得到目标合成视频。本申请能够提高视频合成的准确性。

技术领域

本申请涉及金融科技技术领域，尤其涉及一种视频合成方法、视频合成装置、电子设备及存储介质。

背景技术

随着计算机技术和人工智能的发展，以往线下传统的业务开始逐渐迁移至线上，而且已经形成一种不可逆转的趋势。例如线上购物、线上直播、线上交易等业务场景，有利于银行、网络商家等机构开展业务。目前可以通过虚拟人物进行产品推荐以提高产品推荐的个性化。

例如，根据真实保险代理人的保险产品讲解视频、音频等多媒体文件来生成对应的虚拟人物的保险推荐视频，由虚拟人物在线上为各个对象讲解不同保险产品的产品内容。这一过程常常是基于视频合成方法来实现的。

常用的视频合成往往是直接将说话人的人物图像和说话音频进行合成，得到说话人视频，这一方式往往会丢失较多的重要信息，使得得到的说话人视频的视频质量较差，因此，如何提高视频合成的准确性，成为了亟待解决的技术问题。

发明内容

本申请实施例的主要目的在于提出一种视频合成方法、视频合成装置、电子设备及存储介质，旨在提高视频合成的准确性。

为实现上述目的，本申请实施例的第一方面提出了一种视频合成方法，所述方法包括：

获取目标人物图像、目标音频数据、参考人物视频数据；

对所述目标人物图像进行语义分割，得到目标人物前景图像，并对所述目标人物前景图像进行特征提取，得到目标人脸特征；

对所述目标音频数据进行特征提取，得到目标音频内容特征；

对所述参考人物视频数据进行特征提取，得到参考人物姿势特征和参考人物唇形特征；

基于所述目标人脸特征、所述目标音频内容特征、所述参考人物姿势特征和所述参考人物唇形特征，得到目标组合特征向量，所述目标组合特征向量包括目标人物的人物风格特点；

基于预设的视频合成模型对所述目标组合特征向量进行视频合成，得到初始合成视频；

基于预设的背景图像对所述初始合成视频进行背景替换，得到目标合成视频。

在一些实施例，所述对所述参考人物视频数据进行特征提取，得到参考人物姿势特征和参考人物唇形特征，包括：

对所述参考人物视频数据进行语义分割，得到参考人物图像；

基于预设的姿势编码器对所述参考人物图像进行编码处理，得到所述参考人物姿势特征；

对所述参考人物图像进行局部区域分割，得到参考人物唇部图像；

基于预设的唇形编码器对所述参考人物唇部图像进行编码处理，得到所述参考人物唇形特征。

在一些实施例，所述基于所述目标人脸特征、所述目标音频内容特征、所述参考人物姿势特征和所述参考人物唇形特征，得到目标组合特征向量，包括：

基于所述目标音频内容特征对所述参考人物唇形特征进行特征调整，得到目标人物唇形特征；