[发明专利]移动端音视频同步的方法、装置、设备及存储介质

权利要求书

1.一种移动端音视频同步的方法，其特征在于，包括：

通过HTTP/RTMP协议接收包含音频和视频数据的网络包；

分离网络包中的音频数据与视频数据，并分别进行缓存解析；

当出现音视频数据堆积而造成时延时，以音频数据的存储时间为序，将缓存依次划分为多个分区，为多个分区的音频数据设置不同的播放速度；所述多个分区为大小递增的缓存分区，所述不同的播放速度为按分区的大小进行速度递增的播放速度；以倍数播放音频的方式，同步音频数据和视频数据的生产和消费；

播放经时间同步后的音频数据和视频数据。

2.如权利要求1所述的移动端音视频同步的方法，其特征在于，所述分离网络包中的音频数据与视频数据，并分别进行缓存解析进一步包括：

通过解复用线程对网络包中的数据进行解复用处理，得到分离的音频流数据、视频流数据；

将解复用后分解出来的音频流数据和视频流数据存储到缓冲区中；分别保留音频FIFO数据链表和视频FIFO数据链表接收的第一个数据的PTS信息，作为时钟基数，并且分别将第一音频流数据帧和第一视频流数据帧标记时间截为0，后来的音频流数据帧和视频流数据帧根据数据的PTS分别依次标记时间戳。

3.如权利要求1所述的移动端音视频同步的方法，其特征在于，所述当出现音视频数据堆积而造成时延时，以倍数播放音频的方式，同步音频数据和视频数据的生产和消费进一步包括：

当出现音视频数据堆积而造成时延时，对不同缓存区的音频数据设置不同的播放速度；

当出现音视频不同步时，以音频为基准，使视频帧的时间向音频帧的时间对齐；

在解码过程中，根据音频时间戳与视频时间戳的差值，进行丢帧处理。

4.如权利要求3所述的移动端音视频同步的方法，其特征在于，所述根据音频时间戳与视频时间戳的差值，进行丢帧处理进一步包括：

在音频数据与视频数据的解码过程中，计算音频时间戳与视频时间戳的差值，将所述差值与预设阈值进行比较，当所述差值超出预设阈值时，将丢弃当前视频帧的下一个GOP组。

5.一种移动端音视频同步的装置，其特征在于，包括：

数据接收模块，用于通过HTTP/RTMP协议接收包含音频和视频数据的网络包；

解复用缓存模块，用于分离网络包中的音频数据与视频数据，并分别进行缓存解析；

音视频同步模块，用于当出现音视频数据堆积而造成时延时，以音频数据的存储时间为序，将缓存依次划分为多个分区，为多个分区的音频数据设置不同的播放速度；所述多个分区为大小递增的缓存分区，所述不同的播放速度为按分区的大小进行速度递增的播放速度；以倍数播放音频的方式，同步音频数据和视频数据的生产和消费；

渲染模块，用于播放经时间同步后的音频数据和视频数据。

6.如权利要求5所述的移动端音视频同步的装置，其特征在于，所述解复用缓存模块包括解复用线程、解封装线程，所述音视频同步模块包括音频解码线程、视频解码线程，所述渲染模块包括渲染线程；

所述解复用线程将对网络包中的数据进行解复用处理，得到分离的音频流数据AudioPacket、视频流数据VideoPacket；

所述解封装线程获取音频流数据AudioPacket、视频流数据VideoPacket，将音频流数据AudioPacket传输给所述音频解码线程进行解码，将视频流数据VideoPacket传输给所述视频解码线程进行解码及同步音频处理；

所述渲染线程接收并播放同步后的音频帧及视频帧。

7.一种移动端音视频同步的设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行计算机可读指令时，实现如权利要求1至4中任意一项所述的移动端音视频同步的方法。

8.一种计算机可读介质，存储计算机程序，其特征在于，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至4中任意一项所述的移动端音视频同步的方法。