[发明专利]音视频缓冲方法和装置

说明书

本发明提供了一种音视频缓冲方法和装置，涉及流媒体技术领域，该方法包括：接收音视频数据流；提取音视频数据流中的数据包，数据包包括音频数据包和视频数据包；将音频数据包和视频数据包放入各自的解码队列；对音频数据包和视频数据包，分别计算平滑RTT值和平滑JITTER值；根据平滑RTT值和平滑JITTER值，计算满足缓冲数量的数据包所需的接收时间；根据接收时间，对解码队列中的音频数据包和视频数据包进行延时解码。本发明提供的音视频缓冲方法和装置，可以使播放器能平滑、连续、同步地播放音视频媒体流。

技术领域

本发明涉及流媒体技术领域，尤其是涉及一种音视频缓冲方法和装置。

背景技术

互联网环境可以分为两种，一种是广域网，另一种是局域网，数据包在广域网上的传输效率比局域网低得多。在局域网中，网络环境十分简单，在一个网关(路由器)下形成一个网络或一个子网，其下面连接着数十台或数百台主机，主机之间通过这个网关互相传输数据，效率十分高。但在广域网下，网络环境就变得十分复杂，它由成百上千个网关节点互相连接而成的一个庞大的网络，其中还包含防火墙，代理等一些特殊的节点，数据包从某个子网下的主机传输到另一端子网的主机，中间会经过若干个这些节点，在传输过程中，数据包在每个传输节点的处理都会带来延迟，而且很可能还会丢失(丢失原因有很多，例如节点处理不过来，缓冲队列满了，防火墙过滤等)，所以流媒体数据在这样的环境下传输会有延迟，造成流媒体数据的传输率跟不上播放率导致播放卡顿，声画不同步。

发明内容

有鉴于此，本发明的目的在于提供一种音视频缓冲方法和装置，以减少直播时缓冲、卡顿和声画不同步的发生。

第一方面，本发明实施例提供了一种音视频缓冲方法，应用于客户端，该方法包括：接收音视频数据流；提取音视频数据流中的数据包，数据包包括音频数据包和视频数据包；将音频数据包和视频数据包放入各自的解码队列；对音频数据包和视频数据包，分别计算平滑RTT值和平滑JITTER值；根据平滑RTT值和平滑JITTER值，计算满足缓冲数量的数据包所需的接收时间；根据接收时间，对解码队列中的音频数据包和视频数据包进行延时解码。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，计算平滑RTT值包括：根据接收的每个数据包的RTT，计算RTT的平均值U以及RTT的均方差值V；通过对新接收的数据包的RTT、平均值U和均方差值V进行加权计算，获得当前RTT；根据当前RTT和上次计算的平均RTT更新当前的平均RTT，将当前的平均RTT作为平滑RTT值。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，通过对新接收的数据包的RTT、平均值U和均方差值V进行加权平滑计算，获得当前RTT包括：当新接收到数据包时，如果RTT-U0，则当前RTT为U-((7*V)/8+(|RTT-U|)/8)；如果RTT-U0，则当前RTT为U+((7*V)/8+(|RTT-U|)/8)。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，计算平滑JITTER值包括：根据两个相邻的数据包的RTT计算JITTER；根据每个JITTER，计算JITTER的平均值M以及JITTER的均方差值N；通过对新接收的数据包的JITTER、平均值M和均方差值N进行加权计算，获得当前JITTER；根据当前JITTER和上次计算的平均JITTER更新当前的平均JITTER，将当前的平均JITTER作为平滑JITTER值。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，根据平滑RTT值和平滑JITTER值，计算满足缓冲数量的数据包所需的接收时间包括：根据解码延迟和渲染延迟计算预计播放时间内可解码播放的数据包的数量；根据平滑RTT值、平滑JITTER值和数量计算接收时间。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，还包括：当音频数据包或视频数据包的RTT超过阈值范围时，丢弃RTT。