[发明专利]一种高效的视频播放丢帧控制系统及其方法

说明书

技术领域

本发明涉及视频播放技术，特别是涉及一种高效的视频播放丢帧控制系统及其方法。

背景技术

现有的视频播放器结构大体上如图1所示，音频和视频分别播放，具体地，音视频分离后，分别得到视频压缩数据、音频压缩数据，对视频压缩数据进行视频解码得到视频帧数据，对音频压缩数据进行音频解码得到音频采样数据，对视频帧数据进行视频显示，对音频采样数据进行音频播放。

如果音视频解码的速度足够快(硬件性能非常好，在显示完一帧、等待下一帧显示的间隔内，能完成解码)时，则这种没有播放控制的方案就可以满足要求。但对于性能一般的硬件设备，这种方案会造成音视频播放不同步的问题，如视频中人的口型和声音对不上，而且会相差的越来越远。

要实现音视频同步，则视频播放的进度要与视频播放时钟同步。视频播放时钟来源于音频播放时钟或系统时钟。视频播放的控制模块接收到一个视频帧后，把视频帧的时间戳与视频播放时钟的当前时间进行对比，从而决定当前视频帧的显示时机。如果时间未到，则等待一段时间后再显示；如果时间已到或已经晚了少许时间，则马上显示；如果时间已经晚了很多，则一般会丢弃该帧、不再显示，以便给后续视频帧争取时间以保证音视频同步播放。

视频播放的控制问题基本包括如下几种情形：

1、需优先保证音频数据的解码和播放，音频数据不能丢；

2、视频的播放进度需要与音频一致(同步到音频)或与独立的时钟一致，总之视频要根据一个视频播放时钟的时间安排播放；

3、音频的解码和播放由于运算量较小，因而比较容易及时完成；

4、视频解码和显示的运算量较大，如果硬件设备的运算能力不足，就会出现视频帧的显示时间落后于相应音频的现象，这个现象就是音视频不同步。

5、要解决运算能力不足引起的音视频不同步，策略是在显示前或解码前丢掉部分视频帧，以降低系统的平均负载，使视频播放能在一个较低的水平保持稳定。

显示前丢帧的实现难度很小，在现有的播放器中使用比较普遍，但其调控效果也很有限，这里不再关注。解码前丢帧效果比较明显，但实现难度较大，方法还不成熟，目前在部分播放器中有使用，但效果不是很理想，造成视频不连续、产生跳跃的效果。因此需要针对解码前丢帧提出新的技术方案，以改善丢帧控制的效果。

目前已有的解码前丢帧方法主要是基于播放延迟反馈的分级丢帧，如下图2所示：

在视频帧播放时，将视频帧时间戳与当前时间做比较，将差值反馈给视频解码器，视频解码器根据播放延迟的大小评估是否要进行丢帧处理。现有丢帧算法的核心是将播放延迟分为从轻到重的几个级别，将丢帧的力度也分为从少到多的几个级别，然后将丢帧级别与播放延迟级别相匹配，确定当前的丢帧级别，然后根据当前的丢帧级别决定是否丢弃下一帧。

现有丢帧控制方法的主要缺点是延迟大、控制量与反馈量之间的对应关系不严谨。

1)延迟大是因为视频帧从解码结束到显示之前还要在视频帧缓冲区中停留一段时间，这就导致反馈点与控制点之间的距离较长，时间延迟较大，反馈控制反应不灵敏。

2)控制量与反馈量之间的对应关系不严谨是指丢帧级别与播放延迟级别的匹配关系并没有严格的计算方法，往往是凭经验和试验确定的，在控制效果和适应性方面有很大的局限性。

发明内容

本发明的目的在于提供一种高效的视频播放丢帧控制系统及其方法，用于在计算资源有限的嵌入式设备(如手机)上实现视频文件的音视频同步播放。

为了实现上述目的，本发明提供一种高效的视频播放丢帧控制系统，包括视频播放模块，还包括：丢帧控制模块、视频解码模块；

所述视频解码模块，用于在视频帧解码完成后，将该视频帧的时间戳与视频解码时钟的当前时间做比较，获取比较结果并反馈给所述丢帧控制模块；

所述丢帧控制模块，用于根据该比较结果设置丢帧标志，由所述视频解码模块根据该丢帧标志对该视频帧的下一帧进行丢帧控制。

所述的视频播放丢帧控制系统，其中，所述视频解码模块当该时间戳早于或等于该视频解码时钟的当前时间时，不丢弃该视频帧的下一帧，当该时间戳晚于该视频解码时钟的当前时间时，丢弃该视频帧的下一帧。

所述的视频播放丢帧控制系统，其中，所述丢帧控制模块当该时间戳晚于该视频解码时钟的当前时间时，设置该丢帧标志。

所述的视频播放丢帧控制系统，其中，所述丢帧控制模块当该时间戳早于或等于该视频解码时钟的当前时间时，清除该丢帧标志。

为了实现上述目的，本发明提供一种高效的视频播放丢帧控制方法，包括：