[发明专利]多画面合成方法、装置、设备及存储介质

说明书

本发明公开了一种多画面合成方法、装置、设备及存储介质，针对现有的多画面合成技术，当输入源增多时，计算复杂度增加，多画面合成效率变低，实时性变差，严重影响用户的观看体验的问题，通过从CDN云服务器订阅输入码流到本地，对输入流进行解封装、解码，并记录此时UTC时间戳，建立时间同步统一基准；视频合成时，采用多进一出模型，对输入源相同的UTC时间戳，一次性合成，提高视频合成效率，防止造成视频播放卡顿，提升用户的观看体验感。

技术领域

本发明属于视频处理的技术领域，尤其涉及一种多画面合成方法、装置、设备及存储介质。

背景技术

传统云导播多画面合成的理论基础是输入源中的视频显示时间戳PTS，当多个输入源的显示时间戳一致时，则启动合成多画面视频。但实际的使用场景复杂，以视频帧率25fps为例，理论值是每40毫秒接收一个视频帧。但实际场景下，视频显示时间戳间隔不是严格的40毫秒，且有突变的情况。比如突变增大2秒，这会带来两个问题：

1.由于所有的输入源没有一致的显示时间戳，则处于等待状态，造成视频播放卡顿。

2.由于突变的源2秒后合成，造成这路输入源延时处理。有延时累积问题。

另外，传统转码引擎是典型的两进一出模型合成多画面，即输入源A和输入源B的时间戳一致时，则合成多画面AB，再检测视频AB与输入源C时间戳是否一致。当输入源增多时，计算复杂度增加，多画面合成效率变低，实时性变差。所以，严重影响用户的观看体验。

发明内容

本发明的目的是提供一种多画面合成方法、装置、设备及存储介质，实现多画面实时合成，降低延时，提升用户观看体验。

为解决上述问题，本发明的技术方案为：

一种多画面合成方法，包括：

获取多个输入源的视频数据，每个输入源用于显示场景的一个画面；

将输入源的视频帧率统一为固定帧率，检测各输入源的UTC时间戳；

将各输入源的视频YUV帧数据按UTC时间戳的顺序排列，缓冲视频数据；

当各输入源的UTC时间戳一致时，批量叠加输入源的视频数据，得到多画面合成数据；

对多画面合成数据进行编码。

根据本发明一实施例，所述获取多个输入源的视频数据进一步包括：

从CDN云服务器订阅输入源到本地服务器，对输入源的码流进行解封装、解码，并记录当前的UTC时间戳。

根据本发明一实施例，所述将输入源的视频帧率统一为固定帧率进一步包括：

预先设置固定帧率的大小，逐一对比输入源的视频帧率与固定帧率的大小，将大于固定帧率的输入源及小于固定帧率的输入源的视频帧率调整为所述固定帧率。

根据本发明一实施例，所述批量叠加输入源的视频数据，得到多画面合成数据进一步包括：

当某一输入源无信号时，将前一时刻的YUV帧数据替换成当前时刻的输入源，防止多画面叠加失败。

根据本发明一实施例，所述对多画面合成数据进行编码进一步包括：

采用H.264编码方式对多画面合成数据进行编码，在编码的过程中，关闭B帧编码，减小关键帧之间的间隔。

一种多画面合成装置，包括：

数据获取模块，用于获取多个输入源的视频数据，每个输入源用于显示场景的一个画面；

帧率转换模块，用于将输入源的视频帧率统一为固定帧率，检测各输入源的UTC时间戳；