[发明专利]音视频合成的方法、装置、电子设备及介质在审
| 申请号: | 202010031443.2 | 申请日: | 2020-01-13 | 
| 公开(公告)号: | CN111292773A | 公开(公告)日: | 2020-06-16 | 
| 发明(设计)人: | 张特;骆曦;王贺;张頔;徐放 | 申请(专利权)人: | 北京大米未来科技有限公司 | 
| 主分类号: | G11B27/036 | 分类号: | G11B27/036;H04N5/265;H04N5/92;G09B5/06 | 
| 代理公司: | 北京恒博知识产权代理有限公司 11528 | 代理人: | 李宁宁 | 
| 地址: | 100123 北京市朝*** | 国省代码: | 北京;11 | 
| 权利要求书: | 查看更多 | 说明书: | 查看更多 | 
| 摘要: | |||
| 搜索关键词: | 视频 合成 方法 装置 电子设备 介质 | ||
1.一种音视频合成的方法,其特征在于,包括:
获取第一用户的第一视频,所述第一视频中包括第一语音数据以及目标动作,所述第一语音数据为所述第一用户在所述第一视频中的语音数据,所述目标动作为所述第一用户在所述第一视频中的动作;
获取第二用户的第二视频,所述第二视频为所述第二用户基于所述第一语音数据和/或所述目标动作生成的视频;
基于所述第二视频以及所述第一语音数据,生成目标视频。
2.如权利要求1所述的方法,其特征在于,所述基于所述第二视频以及所述第一语音数据,生成所述目标视频,包括:
基于第一器官特征以及第二器官特征,对第一视频中的至少一个第一视频片段与所述第二视频中的至少一个第二视频片段进行匹配计算,得到至少一个第一匹配度,其中,所述第一器官特征为所述第一用户在所述第一视频中的器官特征,所述第二器官特征为所述第二用户在所述第二视频中的器官特征,所述器官特征包括脸部特征以及肢体特征的至少一种;
当所述第一匹配度中存在低于第一预设阈值的第一目标匹配度时,确定所述第一目标匹配度对应的所述第一视频中的第一目标视频片段以及所述第二视频中的第二目标视频片段,基于所述第一目标视频片段与所述第二目标视频片段的差异,生成第一提示信息;
基于所述第二视频、所述第一语音数据以及所述第一提示信息,生成所述目标视频。
3.如权利要求1所述的方法,其特征在于,所述基于所述第二视频以及所述第一语音数据,生成所述目标视频,包括:
获取第二语音数据,所述第二语音数据为所述第二用户基于所述第一视频生成的语音数据;
基于所述第一语音数据以及所述第二语音数据,生成第二提示信息,所述第二提示信息用于反映所述第二语音数据与所述第一语音数据的差异信息;
基于所述第二视频、所述第一语音数据以及所述第二提示信息,生成所述目标视频。
4.如权利要求3所述的方法,其特征在于,所述基于所述第一语音数据以及所述第二语音数据,生成第二提示信息,包括:
基于第一音频特征及第二音频特征,对所述第一语音数据中的至少一个第一语音片段与所述第二语音数据中的至少一个第二语音片段进行匹配计算,得到至少一个第二匹配度;
当所述第二匹配度中存在低于第二预设阈值的第二目标匹配度时,确定所述第二目标匹配对对应的第一语音数据中的第一目标语音片段以及所述第二语音数据中的第二目标语音片段;
基于所述第一目标语音片段与所述第二目标语音片段的差异,生成所述第二提示信息。
5.如权利要求4所述的方法,其特征在于,所述基于所述第二视频以及所述第一语音数据,生成所述目标视频,包括:
将至少部分所述第一语音数据添加到所述第二视频中,覆盖至少部分所述第二语音数据,生成所述目标视频;或,
将所述第一视频和所述第二视频合成为所述目标视频,其中,所述目标视频播放时,以画中画的方式播放所述第一视频和/或所述第二视频。
6.如权利要求5所述的方法,其特征在于,所述将所述第一语音数据添加到所述第二视频中,包括:
识别所述第二语音数据中的第三音频片段,所述第三音频片段为所述第一语音数据中首个达到预设时长的音频片段;
在所述第二语音数据查找与所述第三音频片段匹配的第四音频片段;
以所述第四音频片段作为起始基准点,将所述至少部分第二语音数据添加到所述第一视频中。
7.如权利要求1所述的方法,其特征在于,所述基于所述第二视频以及所述第一语音数据,生成所述目标视频,还包括:
识别所述第二视频数据中的至少一个特定器官特征;
得到与至少一个所述特定器官特征相匹配的至少一个图像标签;
基于所述第一视频、所述第二视频数据以及所述至少一个图像标签,生成所述目标视频。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大米未来科技有限公司,未经北京大米未来科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010031443.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:游戏服务器通信的方法及装置
- 下一篇:混合模数变换器电路





