[发明专利]一种弱网环境下的音视频数据传输系统、优化设备及方法

权利要求书

1.一种弱网环境下的音视频数据传输优化设备，连接在终端与网络之间，其特征在于，所述音视频数据传输优化设备包括：控制模块、音视频转码模块和数据包转发、过滤及缓存模块；

所述数据包转发、过滤及缓存模块用于捕获所述终端传输的数据包，并将非音视频数据包直接转发，将音视频数据包按照收发方向分别缓存至发送队列和接收队列；

所述控制模块用于统计当前的发送带宽、接收带宽和接收丢包率，进而评估网络延迟与带宽，然后生成工作模式切换策略通知发送端侧的音视频数据传输优化设备切换工作模式；所述工作模式包括丢包重传模式、前向纠错模式和音视频自适应转码模式，其中，音视频自适应转码模式下，发送端侧所述音视频数据传输优化设备的音视频转码模块对相应的音视频数据进行重新编码，以生成占用带宽更低的音视频数据包。

2.根据权利要求1所述的弱网环境下的音视频数据传输优化设备，其特征在于，所述音视频数据传输优化设备还包括虚拟网桥，所述虚拟网桥包括虚拟网络接口和物理网络接口，所述虚拟网络接口用于连接所述数据包转发、过滤及缓存模块，所述物理网络接口用于连接终端设备和网络侧设备。

3.根据权利要求1所述的弱网环境下的音视频数据传输优化设备，其特征在于，所述数据包转发、过滤及缓存模块还用于对捕获的数据包进行过滤，并将过滤出的非音视频数据包进行直通转发。

4.一种弱网环境下的音视频数据传输系统，其特征在于，包括：终端以及如权利要求1至3任意一项所述的音视频数据传输优化设备，所述终端通过所述音视频数据传输优化设备接入网络。

5.一种弱网环境下的音视频数据传输方法，其特征在于，所述方法基于权利要求1至3任意一项所述的音视频数据传输优化设备实现，包括以下步骤：

（1）所述数据包转发、过滤及缓存模块捕获网络中传输的音视频数据包，并按照传输方向分别备份缓存在发送队列和接收队列中；

（2）所述控制模块统计发送队列和接收队列中的音视频数据包，计算出发送带宽、接收带宽和接收丢包率，进而计算出网络延迟和网络带宽；

（3）所述控制模块根据实时的发送带宽、接收带宽和接收丢包率生成工作模式切换策略并反馈给发送端一侧的音视频数据传输优化设备；

（4）发送端一侧的音视频数据传输优化设备根据接收到的工作模式切换策略在丢包重传模式、前向纠错模式和音视频自适应转码模式之间切换。

6.根据权利要求1所述的弱网环境下音视频数据传输优化的方法，其特征在于，所述生成切换策略的具体步骤为：

情况1：在接收丢包率大于0且小于预设的丢包率可接受阈值的前提下，若网络延迟低于预设的延迟阈值且接收丢包率小于网络带宽，则生成丢包重传策略；

情况2：在接收丢包率大于0且小于预设的丢包率可接受阈值的前提下，若网络延迟大于预设的延迟阈值且接收丢包率小于网络带宽，则生成前向纠错策略；

情况3：若接收丢包率大于等于丢包率可接受阈值，或不满足情况1和情况2，则生成音视频自适应转码策略。

7.根据权利要求6所述的弱网环境下音视频数据传输优化的方法，其特征在于，所述控制模块使用网络延迟与带宽评估算法得到所述网络延迟和网络带宽。

8.根据权利要求6所述的弱网环境下音视频数据传输优化的方法，其特征在于，接收端一侧的音视频数据传输优化设备在生成丢包重传策略时，一并将丢失的RTP数据包序号发送给对端，对端收到后，从本地发送队列缓存中找到对应的数据包，执行重新发送操作。

9.根据权利要求8所述的弱网环境下音视频数据传输优化的方法，其特征在于，发送端一侧的音视频数据传输优化设备在接收到前向纠错策略后，将本地发送队列中缓存的相应数据包按照RFC5109规范中所述方法进行处理。

10.根据权利要求9所述的弱网环境下音视频数据传输优化的方法，其特征在于，发送端一侧的音视频数据传输优化设备在接收到音视频自适应转码策略后，执行以下步骤：

（10-1）将本地发送队列里的音视频数据包分离：

（10-2）对于视频数据包，使用内置的视频解码器将压缩数据帧解码还原为YUV格式的未压缩图像；对未压缩视频图像序列进行尺寸缩放、帧率变换和图像增强处理；再将处理后的未压缩图像输入内置的视频编码器，所述控制模块根据网络评估状态实时调整所述视频编码器的编码参数；

（10-3）对于音频数据包，使用内置的音频解码器将压缩数据帧解码还原为PCM格式的未压缩音频采样；对未压缩音频采样进行重采样和3A处理；再将处理后的未压缩音频采样输入内置的音频编码器，所述控制模块根据网络评估状态实时调整所述音频编码器的编码参数；

（10-4）将重新编码后的音视频数据包打上原始RTP协议头中的序号和时间戳，并设置扩展标记位，按照原始目的地址发送。