[发明专利]一种实时视频监控系统中音视频数据的同步方法

权利要求书

1. 一种实时视频监控系统中音视频数据的同步方法，其特征在于包括如下步骤：

步骤(1).监控端采集t毫秒时长的音频数据和任意一帧视频数据，同时记录音频数据的第一个字节采集时刻的系统时间a_stime，记录该视频数据采集时刻的系统时间v_stime；

所述的步骤(1)中v_stime将做为视频时间戳v_timestamp被保存到对应视频数据的rtp数据包包头的Timestamp字段，a_stime将做为音频时间戳a_timestamp被保存到对应音频数据的rtp数据包包头的Timestamp字段；

步骤(2).将步骤(1)采集到的音频数据和视频数据分别送入G.711音频编码器和H.264视频编码器进行编码，然后输出；

步骤(3). 对G.711音频编码器编码输出的音频流数据直接封装成RTP包，并将a_stime保存到RTP包头的Timestamp字段；对H.264视频编码器编码后输出的视频流进行分析，找到视频图像的起始码，并计算得出视频图像数据大小；

若该视频图像数据小于MTU则打成一个包；

若该视频图像数据大于MTU则采用分片封包模式，具体的分片方法完全按照RFC3984协议实现；

步骤(4).将视频图像数据封装成的RTP包和音频流数据封装成的RTP包通过UDP协议发送至手机端的不同端口；

步骤(5).手机端的两个不同端口分别接收视频图像数据封装成的RTP包和音频流数据封装成的RTP包，若接收的是视频图像数据RTP包则执行步骤(6)，否则执行步骤(7)；

步骤(6).根据视频图像数据RTP包包头的timestamp字段，得到视频时间戳v_timestamp，RTP的荷载的第一个字节是NAL的头，若NAL头信息中TYPE等于28，则判断为分片包，执行步骤(9)；若NAL头信息中TYPE不等于28，则判断为单片包，执行步骤(8)；

步骤(7).根据音频流数据RTP包包头的timestamp字段，得到音频时间戳a_timestamp，并将解包后的音频流数据放入音频缓存队列中，并继续执行步骤(10)；

步骤(8).将经过处理的视频图像数据包放入视频缓存队列中，并继续执行步骤(10)；

步骤(9).将属于同一个NAL单元的几个不同的视频分片包按照RFC3984协议标准合并成一个完整的NAL视频单元，并执行步骤(8)；

步骤(10). 视频解码器从视频缓存队列中读取视频数据，获取视频数据中的SPS和PPS，分析视频数据的首帧，获取视频数据的视频时间戳v_timestamp,并进行解码播放；

步骤(11).音频解码器从音频缓存队列读取音频数据，获取音频数据的音频时间戳a_timestamp； 

步骤(12).将视频时间戳v_timestamp作为参考时钟，并同步比较音频时间戳a_timestamp与视频时间戳v_timestamp，若音频时间戳a_timestamp与视频时间戳v_timestamp的差值大于门限值T1，则音频数据不进行解码播放直接跳过；若音频时间戳a_timestamp与视频时间戳v_timestamp的差值大于门限值-T1时，则音频数据读取线程暂停等待视频数据的处理；若音频时间戳a_timestamp与视频时间戳v_timestamp的差值在-T1与T1之间，则进行正常播放。