[发明专利]视频图像数据的网络发送速率的平滑方法

说明书

本发明公开了一种视频图像数据的网络发送速率的平滑方法，包括：将视频码流写入缓冲区；计算视频编码器的码流变化；根据当前缓冲区中视频数据大小与视频传输网络所允许延时的关系，获得待发送速率，并与视频传输网络带宽和视频码流在视频传输网络中的波动最大值进行比较，以确定实际发送速率；如果采用实际发送速率发送缓冲区中的视频数据所用时长超过采样周期，则根据当前缓冲区的数据大小和网络所允许的延时，调整下个周期的发流速率。本发明方法，可使得视频图像数据的网络发送速率不断地按照预想的方向进行平滑，并最终实现视频图像数据在视频传输网络中的平滑发送，进而避免网络数据的瞬间过冲、数据丢失、网络拥塞甚至网络瘫痪的可能。

技术领域

本发明涉及视频图像传输领域，特别涉及一种视频图像传输过程中的视频图像平滑方法。

背景技术

在视频监控，网络视频会议等应用中，视频图像从实时采集一直到视频图像播放端，需要经过采集、缓冲以及网络传输等环节。

如图1所示，视频拍摄前端所采集到的视频数据经过视频编码器1编码后，视频编码器1通过写指针11将视频数据存放到缓冲区2，网络发流器3通过读指针31将缓冲区中存放的视频数据读出，并通过视频传输网络4发出。视频编码器1维护写指针11，在写指针11将视频数据存放到缓冲区2时，写指针11在缓冲区2中的位置会随着视频数据的写入而更新；网络发流器3维护读指针31，在读指针31将视频数据从缓冲区2读出时，读指针31在缓冲区2中的位置会随着视频数据的读出而更新。在本领域中，网络发流器3的数量可以为1个或者多个，每个网络发流器3各自维护自己的读指针31，另外，网络发流器3也可以采用多线程技术实现。

写指针11的更新速度反映了视频编码器1的输出速率，网络发流器3通过对读指针31的控制，便可调整视频数据码流发送到视频传输网络4的速率，视频数据码流发送到视频传输网络4的速率的平滑程度(或均匀性)，反映到视频传输网络4上，即为网络数据流的平滑性。

在视频图像实时采集，视频传输网络实时发送采集到的视频数据时：一方面，由于采集的视频图像的画面场景变化随机，进而所采集到的原始数据量差别很大；另一方面，视频压缩算法采用了帧内(I帧)和帧间(P帧)压缩的方法，其中，I帧也叫关键帧，是帧间压缩编码里的重要帧，I帧是全帧压缩的编码帧，解码时仅用I帧的数据就可重构完整图像，I帧不需要参考其他画面而生成，而P帧由在它前面的P帧或者I帧预测而来，P帧比较与它前面的P帧或者I帧之间的相同信息或数据，即考虑运动的特性进行帧间压缩，P帧是根据本帧与相邻的前一帧(I帧或P帧)的不同点来压缩本帧数据，这样，由于I帧和P帧的不同性质，导致压缩后的视频数据量差别很大。

由于该两方面的原因，最终反映在网络传输数据上将变得很不平滑，会存在网络数据的瞬间过冲的现象，加之在实际应用场合中，存在带宽限制等约束，这样，网络数据的瞬间过冲将可能导致数据丢失，或者大量设备同时出现大量数据，将导致网络拥塞，甚至网络瘫痪。

因此，对视频图像数据进行平滑处理，是保障网络数据不发生瞬间过冲，避免网络拥塞和网络瘫痪的重要手段。

现有技术中，已有人针对此情况采用了对视频图像数据进行平滑处理的方法。例如专利CN102355577A中所公开的一种多视视频码流的网络传输码率平滑方法，将发送缓存区再分为两级缓存，并将数据设为阀门值进行计算。该方法可以一定程度上缓冲数据，进而达到网络平滑，但是该方法也有明显的不足，例如，需要两个内存缓冲区，缺少动态实时调整，只按预先设定的阈值进行平滑等，缺少对实时发送速率的应变。

发明内容

有鉴于此，本发明提供一种视频图像数据的网络发送速率的平滑方法，以对当前发送带宽进行实时检测，进而动态调整发送速度，达到码率平滑的目的。

本申请的技术方案是这样实现的：

一种视频图像数据的网络发送速率的平滑方法，包括在每个视频记录采样周期内执行的如下过程：