[发明专利]一种视频人像替换方法及装置

说明书

本发明提供了一种视频人像替换方法及装置，该方法包括：经由摄像头采集包含了第一人脸图像的用户视频文件；获取包含了第二人脸图像的素材视频文件和预先处理得到的离线第二人脸数据；对用户视频文件解码获得用户视频纹理数据，并解析用户视频纹理数据获得3D的第一人脸关键点数据；解析离线第二人脸数据获得3D的第二人脸关键点数据；结合第一人脸关键点数据和第二人脸关键点数据，通过换脸算法生成将第二人脸图像替换为第一人脸图像的换脸纹理数据；将换脸纹理数据与素材视频文件结合生成换脸视频。基于本发明提供的方案，根据预先获取的离线第二人脸数据获取第二人脸关键点数据，可以减少读取第二人脸关键点占据的存储空间，保证系统的正常运行。

技术领域

本发明涉及计算机技术领域，特别是涉及一种视频人像替换方法及装置。

背景技术

随着大众娱乐社交性质的手机APP的不断增多，具有美颜类功能的APP 收到广大用户的青睐，例如美图秀秀、抖音等APP，这些APP以图像或视频为载体，通过图像视频处理算法改变人的容貌(例如大眼，瘦脸)，添加有趣的元素或特效等，以达到唯美、复古等多种用户所需的效果，视频换脸也属于这一类的应用。

当前，将视频中的人脸换成用户的人脸的做法一般都是直接采集视频中的图像的人脸关键点数据，通过摄像头采集用户的人脸关键点数据，进而将采集到的二者的关键点数据结合以生成换脸视频。这种方案的缺点在于，视频文件的体积一般都比较大，直接采集视频中的人脸关键点数据对于某些机型会有性能方面的影响，导致手机运行速度慢，卡顿。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频人像替换方法及装置，可以适应各种机型。

根据本发明的一个方面，提供了一种视频人像替换方法，包括：

经由摄像头采集包含了第一人脸图像的用户视频文件；

获取包含了第二人脸图像的素材视频文件和预先处理得到的离线第二人脸数据；

对所述用户视频文件解码获得用户视频纹理数据，并解析所述用户视频纹理数据获得3D的第一人脸关键点数据；

解析所述离线第二人脸数据获得3D的第二人脸关键点数据；

结合所述第一人脸关键点数据和第二人脸关键点数据，通过换脸算法生成将第二人脸图像替换为第一人脸图像的换脸纹理数据；

将所述换脸纹理数据与所述素材视频文件结合生成换脸视频。

可选地，所述获取预先处理得到的离线第二人脸数据，包括：

解码所述素材视频文件获取视频纹理以及与视频纹理对应的时间戳；

将所述视频纹理通过OpenGL接口转化为RGBA数据；

通过所述时间戳获取对应的RGBA数据并将该RGBA数据转化为离线第二人脸数据。

可选地，所述将所述换脸纹理数据与所述素材视频文件结合生成换脸视频，包括：

利用所述换脸纹理数据替换所述素材视频文件中所述时间戳对应的视频纹理，通过编码器编码进而生成视频流；

将所述视频流与预设的音频流结合生成换脸视频。

可选地，所述预设的音频流包括：由麦克风预先采集PCM音频数据，将所述PCM音频数据转码为ACC音频流。

可选地，所述预设的音频流还包括：将预存的原声PCM音频数据转码为 ACC音频流。

可选地，所述方法还包括：将所述换脸纹理数据输出到屏幕进而显示。

根据本发明的另一个方面，还提供了一种视频人像替换装置，包括：