[发明专利]一种基于音视频分流存储的录像生成方法

说明书

本发明公开了一种基于音视频分流存储的录像生成方法，包括如下步骤：步骤1、在接收到音频流A和视频流A以及音频流B和视频流B，做缓存处理；步骤2、选择需要合成的时间去合成录像；步骤3、选择音视频流A作为音视频合成参考基础，音频流A和音频流B作混音，提取视频流A的分辨率对视频流B缩放成视频流A的参数；在音频流A处于声音状态时，使用视频A画面，在音频流B处于声音状态时，使用视频B画面，检测到静音或者音频流A和音频流B都处于声音状态则使用参考基础视频A画面，接着进行同步处理，计算并调整时间戳，保证音视频同步，最终合入到录像文件。本发明技术方案的录像呈现效果比较新颖，显示有声音的画面，类似于语音跟随。

技术领域

本发明涉及计算机信息数据处理技术领域，具体涉及一种基于音视频分流存储的录像生成方法。

背景技术

现有双方通话录像生成方式：如图1所示，生成两个录像文件，声音做了混音处理，视频未作混合，即生成的是混音单画面的录像文件。所以，目前的录像效果是，可以听到双方声音，只能看到单侧的图像(本侧的图像和声音实现同步)，会有一路声音无视频画面对应。为了解决这个问题，需要升级方案，支持视频画面的混合，达到最优的录像体验效果，即所有的声音和画面可以同步匹配。

发明内容

本发明目的是提供一种基于音视频分流存储的录像生成方法，临时存储块保存数据，计算闲置CPU，保证不影响服务器总体性能，基于一路选路参考，一路视频编解码，减小性能开销，高效合成录像文件的技术；以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于音视频分流存储的录像生成方法，包括如下步骤：

步骤(1)、将音视频进行缓冲存储处理

在接收到音频流A和视频流A以及音频流B和视频流B，做缓存处理，将它们都存储到存储块，这样可以避免在CPU资源少的情况继续申请CPU资源调度而造成CPU负荷过大，引发后续的录像合成问题。

步骤(2)、选择需要合成的时间去合成录像

计算并选择闲置CPU，开始录像文件的合成；

步骤(3)、音视频编解码处理

选择音视频流A作为音视频合成参考基础，音频流A和音频流B作混音，提取视频流A 的分辨率对视频流B缩放成视频流A的参数，即相同的分辨率、码率、帧率；在音频流A处于声音状态时，使用视频A画面，在音频流B处于声音状态时，使用视频B画面，检测到静音或者音频流A和音频流B都处于声音状态则使用参考基础视频A画面，接着进行同步处理，计算并调整时间戳，保证音视频同步，最终合入到录像文件。

作为优选，上述步骤(1)中音视频按照如下具体流程进行缓冲存储处理：

(1.1)、存储块预先创建，定义每个存储块大小256M，根据实际需求决定创建个数，每个存储块有各自的编号；

(1.2)、划分存储块用途，例如音视频A的存储块从编号1A～100A，音视频B的存储块从1B～100B，重复利用存储块；

(1.3)、把音视频封装数据放入到存储块中，音视频数据根据不同的标识符号区分，如音频标识符$a，视频标识符$v；

(1.3.1)、优先视频帧数据先存入存储块，同时视频的SPS，PPS和I帧最先存储，然后将有音频数据接着存储进去，防止合成的录像出现有声音没视频的情况；

(1.3.2)、音频流提取每个RTP包的时间戳，并将每个音频RTP包按照“4字节包长+4字节时间戳描述+包体”的封包格式放入存储块中；其中，包体指的完整的RTP包；4字节包长+4字节时间戳描述+包体，这个是私有定制的封包格式；