[发明专利]用于视频通信的参考帧管理方法和设备

说明书

本发明提供了针对网络中的视频通信进行自适应地管理参考帧的系统和方法。在连接过程中，基于所有客户端的网络类型和网络状况，系统自适应地确定每个I帧之间的间隔、编码比特流的比特率以及编码视频的分辨率，以实现快速连接。基于其他客户端的反馈和网络状况，系统可以决定重新进入连接阶段。在通信过程中，根据其他客户端的反馈和网络状况，系统可为当前帧设置适当的参考帧，将解码图像缓冲区中的参考帧标识为长/短期参考帧或将其标识为不作参考；将当前帧标识为长期参考帧、短期参考帧、不作参考或对当前帧不予编码；自适应地改变解码图像缓冲区中长期参考帧数量相对于的短期参考帧数量的比率；自适应地改变将当前帧标识为长期参考帧相对于标识为短期参考帧的频率比。

相关申请的交叉引用

本申请要求2016年7月6日提交的标题为“用于视频通信的参考帧管理方法和设备”的美国临时专利申请号为62/359,142的权益，其全部内容通过本引用纳入本文。

技术领域

本公开涉及用于视频通信中处理建立连接和管理参考帧的系统和方法。具体而言，本发明的实施例涉及在网络下用于视频通信中处理建立连接和管理参考帧的系统和方法。

背景技术

随着通信技术的日益进步和繁荣，内容共享已经变得司空见惯。例如视频通信经历了不断增长的需求，普及度也已大幅提升。

在视频编码中，引用帧内预测和帧间预测技术减少视频数据中固有的空间和时间冗余。在帧间预测中，在编码器端对当前块进行编码时，解码图像缓冲区(DPB)中的一个或多个先前重建帧将为当前帧构造一个或两个参考帧列表以找到其最相似的块。在解码器端，基于比特流中的信息，解码器将从其DPB中找到对应的重建帧作为其参考帧，并在参考帧中找到相应的块位置以便进行重建。

参考帧可有两种形式：短期参考帧(short term reference frame)和长期参考帧(long term reference frame)。短期参考帧将会在DPB已满时自动被清除，或者由显式命令来清除。而长期参考帧则只能通过显式命令来清除。在解码器端，在当前帧参考列表中的所有参考帧都已收到时，才可以正确解码当前帧。

由于网络限制，在传输中总有可能会发生丢包的情况。一旦发生丢包，一种可能的解决方法是要求发送方重新发送该数据包，但是这就可能花费长时间来获得丢失的包。然而，对于实时视频通信、直播视频通信或交互式视频通信等场景，此时间延迟可能是不可接受的。因此，在这些情况下发生丢包时，当前帧将被丢弃，并且可能之后也无法用做其他帧的参考帧，这在传统的参考帧管理方法下可能会导致后续帧的无法解码的问题。尤其是建立连接的阶段，由于I帧非常大，所以很可能具有高丢包率。因此，如何尽快建立连接也是一个非常具有挑战性的问题。

因此，我们提出了全新的系统和方法来建立网络连接并管理在丢包情况下视频通信中的参考帧，特别是用于实时视频通信、直播视频通信和交互式视频通信等场景。

发明内容

本发明的实施例提出了用于网络视频通信中快速建立连接以及自适应地管理参考帧的系统和方法。在连接过程中，基于所有客户端的网络类型和网络状况如网络带宽、网络延迟和网络拥塞等，系统可以自适应地确定每个I帧之间的间隔、编码比特流的比特率、以及编码视频的分辨率等来实现快速连接。此外，基于其他客户端的反馈和网络状况，包括但不限于当前带宽过低或过高、系统长时间未收到反馈信息、网络拥塞情况严重等，系统可以决定重新进入连接过程。在通信阶段，基于其他客户端的反馈及网络状况，系统可以(但不限于)为当前帧设置适当的参考帧；将解码图像缓冲区(DPB)中的参考帧标识为长期或短期参考帧，或将其标识为不作参考；将当前帧标识为长期参考帧、短期参考帧、不作参考或不对当前帧进行编码；自适应地调整DPB中长期参考帧数量相对于的短期参考帧数量的比率；自适应地调整将当前帧标识为长期参考帧相对于将当前帧标识为短期参考帧的频率比。

附图说明

为了更清楚地理解本发明的实施例，现将对一些实施例以示例的形式说明，并参照附图进行阐述，其中：