[发明专利]移动端音视频同步的方法、装置、设备及存储介质

说明书

本发明公开了一种移动端音视频同步的方法、装置、设备及存储介质，针对现有的移动端(Android/IOS)的原生播放器或开源播放器对高码率高分辨率、网络抖动等直播场景的音视频同步，以及低延迟需求达不到令人满意的效果的问题，通过HTTP/RTMP协议接收包含音频和视频数据的网络包；分离网络包中的音频数据与视频数据，并分别进行缓存解析；当出现音视频数据堆积而造成时延时，以倍数播放音频的方式，同步音频数据和视频数据的生产和消费；最后播放经时间同步后的音频数据和视频数据。降低网络延迟，避免出现高码率高分辨率的直播场景下的音视频不同步以及网络情况不佳时的延迟较高这类非常影响用户体验的问题。

技术领域

本发明属于视频处理的技术领域，尤其涉及一种移动端音视频同步的方法、装置、设备及存储介质。

背景技术

目前，移动端(Android/IOS)的原生播放器或开源播放器能满足大部分移动端的音视频播放场景。但对高码率高分辨率、网络抖动等直播场景的音视频同步，以及低延迟需求，包括不同网络环境、不同配置的机型设备的自适应支持情况，达不到令人满意的效果。

其中，音视频不同步的原因主要有：

1、音视频帧的解码、渲染时间，难以精准控制，造成每一帧数据存在有细微差距，长久累计，音视频不同步会越来越明显。

2、从网络获取的媒体流本身的音视频时间有差距。

经典的音视频同步是引入时间戳，首先选择参考时钟，其中参考时钟的选择方案有三种：音频同步到视频、音视频同步到外部时钟及视频同步到音频。方案一，音频会被频繁的调速，由于人耳对声音的变化很敏感，因此，不适用。方案二，在网络卡顿时需要做时间修正，做加减速时保持步调一致不容易处理。方案三，视频同步到音频比较自然，视频能够很方便做调速处理。

而对网络延迟的处理，对于播放端来说，从网络层接收数据到渲染层播放数据，是典型的生产者消费者模型。正常情况，生产速度和消费速度保持一致，但网络抖动引发的卡顿与音视频数据堆积会造成时延。堆积的数据需要快速消费掉，否则时延将会逐渐增大。通常采用以下方案处理网络延迟：

1：直接丢弃部分数据；2：短时的快速播放；3：长时的较快速播放。

发明内容

本发明的目的是提供一种移动端音视频同步的方法、装置、设备及存储介质，降低网络延迟，避免在高码率的直播场景下，移动端出现音视频不同步的现象。

为解决上述问题，本发明的技术方案为：

一种移动端音视频同步的方法，包括：

通过HTTP/RTMP协议接收包含音频和视频数据的网络包；

分离网络包中的音频数据与视频数据，并分别进行缓存解析；

当出现音视频数据堆积而造成时延时，以倍数播放音频的方式，同步音频数据和视频数据的生产和消费；

播放经时间同步后的音频数据和视频数据。

根据本发明一实施例，所述分离网络包中的音频数据与视频数据，并分别进行缓存解析进一步包括：

通过解复用线程对网络包中的数据进行解复用处理，得到分离的音频流数据、视频流数据；

将解复用后分解出来的音频流数据和视频流数据存储到缓冲区中；分别保留音频FIFO数据链表和视频FIFO数据链表接收的第一个数据的PTS信息，作为时钟基数，并且分别将第一音频流数据帧和第一视频流数据帧标记时间截为0，后来的音频流数据帧和视频流数据帧根据数据的PTS分别依次标记时间戳。

根据本发明一实施例，所述当出现音视频数据堆积而造成时延时，以倍数播放音频的方式，同步音频数据和视频数据的生产和消费进一步包括：