[发明专利]一种音视频同步方法、装置及设备

说明书

技术领域

本发明属于音视频处理领域，尤其涉及一种音视频同步方法、装置及设备。

背景技术

在视频监控领域，NVR(英文全称为Network Video Recorder，中文全称为网络视频监控)通常需要接收来自各个IPC(IP Camera)端传输过来的实时音视频码流，通过显示以及音频输出接口实时的输出视频画面以及音频。

由于音频帧的数据通常较小，较为不容易受到网络传输以及解码造成的延迟影响。NVR设备上，一般会配置音视频解码芯片，视频帧以及音频帧的数据通常由芯片硬解码完成，音频帧由于芯片解码层对格式种类支持不足的问题，也会调整为由软件来解码，其数据量小，其解码产生的延迟可以通过软件层面解决。因此，常见的音视频同步方案一般以音频帧时间戳为参考，调节视频帧的播放速度，或者还包括丢弃视频帧的方法，如果超出同步范围许可的话，有的方案会停止音频帧的播放，从而实现音视频同步。

但是，以音频帧的时间戳为参考时间进行播放时，音频的开闭会影响画面的卡顿，视频流的后向视频帧通常会对前向视频帧有依赖，如果在同步时丢弃视频帧，可能会引起画面出现马赛克、卡顿及花屏。

发明内容

有鉴于此，本发明实施例提供了音视频同步方法、装置及设备，以解决现有技术中以音频帧的时间戳为参考时间进行播放时，音频的开闭会影响画面的卡顿，如果在同步时丢弃视频帧，可能会引起画面出现马赛克、卡顿及花屏的问题。

本发明实施例的第一方面提供了一种音视频同步方法，所述音视频同步方法包括：

通过音频缓冲区和视频缓冲区分别缓冲待同步的音频数据和视频数据；

计算当前播放的音频帧的时间戳与当前播放的视频帧的时间戳的时间差值；

根据所述时间差值，调整所述音频缓冲区发送至音频解码器中的速度和/或方式。

结合第一方面，在第一方面的第一种可能实现方式中，所述根据所述时间差值，调整所述音频缓冲区发送至音频解码器中的速度和/或方式的步骤包括：

如果当前播放的音频帧超前且所述时间差值的绝对值大于预定的时间阈值，则延长当前音频帧离开缓冲区的时间；

如果当前播放的音频帧落后且所述时间差值的绝对值大于预定的时间阈值，则使当前帧离开缓冲区但不送入音频解码器。

结合第一方面，在第一方面的第二种可能实现方式中，所述计算当前播放的音频帧的时间戳与当前播放的视频帧的时间戳的时间差值的步骤包括：

获取最新离开音频缓冲区的音频帧的时间戳A，以及最新离开视频缓冲区的视频帧的时间戳V；

根据音频解码器中剩余的音频播放时长Ta，计算当前在播的音频帧的时间戳Pa＝A-Ta；

根据当前播放的视频帧的时间戳Pv＝V，计算当前播放的音频帧的时间戳与当前播放的视频帧的时间戳的时间差值Td＝Pa-Pv。

结合第一方面，在第一方面的第三种可能实现方式中，所述方法还包括：

检测所述音频缓冲区所缓冲的音频帧数，以及所述视频缓冲区所缓冲的视频帧数；

如果缓冲的视频帧数大于预定的第一缓冲阈值，则视频帧队列进入播放状态；

如果缓冲的音频帧数也大于预定的第一缓冲阈值，则音频帧队列进入播放状态；

如果缓冲的视频帧数小于预定的第二缓冲阈值，则视频帧队列进入暂停播放状态，同时音频帧队列中音频帧数据出队但不送入解码器。

结合第一方面、第一方面的第一种可能实现方式、第一方面的第二种可能实现方式或第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述方法还包括：

通过预定的等间隔定时器驱动所述音频缓冲区的音频帧离开所述音频缓冲区，和/或视频缓冲区的视频帧离开所述视频缓冲区。

本发明实施例的第二方面提供了一种音视频同步装置，所述音视频同步装置包括：

缓冲单元，用于通过音频缓冲区和视频缓冲区分别缓冲待同步的音频数据和视频数据；

时间差值计算单元，用于计算当前播放的音频帧的时间戳与当前播放的视频帧的时间戳的时间差值；

调整单元，用于根据所述时间差值，调整所述音频缓冲区发送至音频解码器中的速度和/或方式。

结合第二方面，在第二方面的第一种可能实现方式中，所述调整单元包括：

延长子单元，用于如果当前播放的音频帧超前且所述时间差值的绝对值大于预定的时间阈值，则延长当前音频帧离开缓冲区的时间；