[发明专利]一种合成音视频数据流的方法和装置

说明书

本发明公开了一种合成音视频数据流的方法和装置，属于多媒体技术领域。所述方法包括：获取目标数据流的音视频数据，将所述音视频数据存储在第一存储空间内；按照所述音视频数据的音视频帧的时间戳的顺序，从所述第一存储空间中读取并解码所述音视频数据的音视频帧；基于预设的音视频输出参数对解码后的音视频帧进行重采样处理；根据重采样后的音视频帧的时间戳生成位置索引，通过所述位置索引将所述重采样后的音视频帧存储在第二存储空间；按照所述位置索引周期性从所述第二存储空间中提取所述音视频帧，将提取出的音视频帧与其它数据流的音视频帧进行合成。采用本发明，可以更加方便有效地实现数据流合成。

技术领域

本发明涉及多媒体技术领域，特别涉及一种合成音视频数据流的方法和装置。

背景技术

伴随着互联网技术的发展以及宽带的不断提速，互联网与人们的生活联系的日益密切，观看直播已成为当下一种主流的娱乐形式。目前多人视频会话、直播连麦等合成有多路数据流的直播形式不断出现并受到广泛的欢迎。

在这些存在多路点播流或直播流同时输入的直播形式中，每路数据流可能具有不同的分辨率、码率、音频采样率、音视频编码格式，从而导致了传统单路数据流输入的直播系统中所没有遇到的多路数据流合成的问题。同时，每路数据流受主播端推流状态、网络传输质量等因素的影响，可能出现数据流拉流过程的不稳定，这使得输入的多路数据流之间的合成问题变得更加复杂，故而目前亟需一种适合多路数据流输入的，能够应对数据流网络波动影响的，方便有效地实现数据流合成的方法。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种合成音视频数据流的方法和装置。所述技术方案如下：

第一方面，提供了一种合成音视频数据流的方法，所述方法包括：

获取目标数据流的音视频数据，将所述音视频数据存储在第一存储空间内；

按照所述音视频数据的音视频帧的时间戳的顺序，从所述第一存储空间中读取并解码所述音视频数据的音视频帧；

基于预设的音视频输出参数对解码后的音视频帧进行重采样处理；

根据重采样后的音视频帧的时间戳生成位置索引，通过所述位置索引将所述重采样后的音视频帧存储在第二存储空间；

按照所述位置索引周期性从所述第二存储空间中提取所述音视频帧，将提取出的音视频帧与其它数据流的音视频帧进行合成。

可选的，所述将所述音视频数据存储在第一存储空间内，包括：

将所述音视频数据包含的音频数据和视频数据分别存储在第一存储空间的音频存储空间和视频存储空间内。

可选的，所述方法还包括：

如果所述目标数据流为直播流，则在所述第一存储空间存储所述音视频数据的过程中，当所述第一存储空间已满时，删除所述第一存储空间中最早存储的音视频数据，继续存储所述音视频数据；

如果所述目标数据流为点播流，则在所述第一存储空间存储所述音视频数据的过程中，当所述第一存储空间已满时，等待所述第一存储空间中存储的音视频数据被消耗后，继续存储所述音视频数据。

可选的，所述方法还包括：

根据预设的最大播放延迟和最大网络延迟确定所述第一存储空间的大小；

在获取目标数据流的音视频数据过程中，根据检测到的播放延迟需求和/或实时网络延迟调整所述第一存储空间的大小。

可选的，所述方法还包括：

周期性检测从所述第一存储空间中读取并解码的所述音视频数据的音视频帧的时间戳时长；