[发明专利]一种音视频自动同步方法及同步系统

说明书

本发明涉及一种音视频自动同步方法及同步系统，用于网络直播，包括以下步骤：接收音频流和视频流，其中，音频流包括多个带有时间戳的音频帧，视频流包括多个带有时间戳的视频帧，视频帧包括关键帧和非关键帧；从视频流中提取关键帧；对关键帧进行编码，判断该关键帧是否编码成功，若是，则选取该关键帧作为初始帧；以初始帧为音视频同步起点，根据时间戳使视频帧与音频帧自动一一对应；对一一对应的视频帧与音频帧进行编码，以对视频帧与音频帧进行同步推流。本发明的音视频自动同步方法及同步系统选取初始帧并以初始帧为音视频同步起点，根据时间戳使视频帧与音频帧自动一一对应，通过初始帧进行音视频同步，简单快速。

技术领域

本发明涉及网络直播技术领域，尤其涉及一种音视频自动同步方法及同步系统。

背景技术

每一帧音频或视频都有一个持续时间，采样频率是指将模拟声音波形进行数字化时，每秒钟抽取声波幅度样本的次数。正常人听觉的频率范围大约在20Hz～20kHz之间，根据奈奎斯特采样理论，为了保证声音不失真，采样频率应该在40kHz左右。常用的音频采样频率有8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz等，如果采用更高的采样频率，还可以达到DVD的音质对采样率为44.1kHz的AAC(Advanced Audio Coding，高级音频编码)音频进行解码时，一帧的解码时间须控制在23.22毫秒内。一个AAC原始帧包含一段时间内1024个采样及相关数据。

音频帧的播放时间＝一个AAC帧对应的采样样本的个数/采样频率，单位为s，一帧1024个样本。采样率44100Hz，每秒44100个样本，所以根据公式：音频帧的播放时间＝一个AAC帧对应的采样样本的个数/采样频率，当前AAC一帧的播放时间是＝1024*1000000/44100＝22.32ms(单位为ms)。

H264，视频的播放时间跟帧率有关frame_duration＝1000/fps，例如：fps＝25.00，计算出来的时常为40ms，这就是同行所说的40ms一帧视频数据。理论上的音视频(播放)同步是这样的：

由此得到了每一帧数据的持续时间，音视频交叉存储在容器中：一个时间轴：

时间轴：

0 22.32 40 44.62 66.96 80 89.16 111.48 120......

音频：

0 22.32 44.62 66.96 89.16 111.48......

视频：

0 40 80 120......

即视频的持续时间相加和音频的持续时间相加作比较，谁小写入哪个。

但实际情况(播放)是不成立的。

1.首先解决一个问题

为什么不音频播音频的视频播视频的，即上面的到第22.32ms播一帧音频，到40ms播一帧视频。

因为这个22.32ms或40ms是算不准的或者说和声卡播的时间是不一样的。这里就需要知道声卡播一帧/或者说播放一个音频需要多长时间。

2.声卡每次播一个采样点而不是一帧。声音当一个采样点丢失了都可以听出来，视频则不然。

3.音视频同步方式：第一，回调方式；第二，阻塞方式。

然而，音视频在实际编码过程中是一个比较复杂的过程，不仅要指定什么时候编码，还要指定什么时候播放，只有音视频编码时间戳一致且播放时间戳一致，音视频才会同步，以上处理方法虽然在理论状态下能保证微小音视频播放差异，但在网络状态稍有一点不稳定的状态下会产生不同步。当视频帧出现差错时，而音频帧没有问题时，会音频先于视频，这就是有时声音先于视频的原因。