[发明专利]面向截止时间感知的实时流媒体的传输控制方法及装置

说明书

本发明公开了一种面向截止时间感知的实时流媒体的传输控制方法及装置，该方法包括：计算待发送数据帧帧的剩余截止时间；根据剩余截止时间计算每个数据帧的权重；选择权重中最小权重对应的数据帧进行优先发送；若数据帧即将错过截止时间要求，则判断当前数据帧是否要添加冗余数据包，若需要，则通过深度强化学习模型的决策设置冗余率，添加冗余数据包，并根据决策的发送速率发送当前数据帧，若不需要，则根据当前发送速率发送当前数据帧；通过深度强化学习模型的获取新的数据帧发送速率发送数据帧。该方法在实时流媒体应用给定优先级和截止时间的需求下，对发送端的帧调度、冗余率以及发送速率作出合理的调节，最大化实时流媒体应用的QoE。

技术领域

本发明涉及流媒体技术领域，特别涉及一种面向截止时间感知的实时流媒体的传输控制方法及装置。

背景技术

近年来，实时流媒体应用诸如直播或者视频会议，为了满足用户体验，不同数据帧具有不同的优先级和截止时间的约束。例如云游戏或者在线会议中，控制信号的优先级最高，延迟的需求不超过50ms即可；音频流的单向延迟要求不超过100ms同时定义为中优先级；而视频流的优先级最低，时延不超过500ms即可。在实时视频流中普遍存在截止时间的需求。

目前许多学者已经提出了多种用于视频流传输的传输控制方法，例如基于丢包的方法(Cubic，Reno等)和基于模型的方法(BBR，GCC等)方法，在网络条件允许的情况下，这些方法将获得尽可能高的比特率。但是如果数据帧到达接收方时错过了最后期限，则这些帧不会将其提交给上层应用程序。在这种情况下，即使取得了高的吞吐量，实际上仍然浪费了大量的带宽。还有另一类提供低延迟传输的方法，即基于延迟的速率控制(Vegas，LEDBAT，Copa等)的方案都是基于可靠的协议TCP或QUIC进行数据传输。此外，还有一些融合控制方案，例如WebRTC提供了一种实时通信服务，该服务结合了视频编解码器，前向纠错(FEC)和GCC拥塞控制来优化视频数据传输。Salsify结合了编解码器和传输过程，以根据可用带宽确定编码率。尽管上述这些解决方案都提供了低延迟的传输，但是它们不能保证数据在截止期限之前到达接收器。IETF的最新草案提出了基于QUIC的不可靠传输协议，以试图满足应用程序的延迟要求。但是，这些方案仍使用QUIC中的默认拥塞控制方案，即Reno，僵化的拥塞控制算法在高丢包的网络中实现了较低的吞吐。目前的这些传输控制方法都无法有效的感知数据帧的不同的截止时间并有效的调节发送端的发送策略。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种面向截止时间感知的实时流媒体的传输控制方法，该方法通过合理的数据帧调度、冗余策略及发送速率，有效的降低带宽浪费，提升在截止时间之前的高优先级的数据帧的完成率，同时提升用户的体验。

本发明的另一个目的在于提出一种面向截止时间感知的实时流媒体的传输控制装置。

为达到上述目的，本发明一方面实施例提出了一种面向截止时间感知的实时流媒体的传输控制方法，包括：

计算待发送数据帧帧的剩余截止时间；

根据所述剩余截止时间计算每个数据帧的权重；

选择所述权重中最小权重对应的数据帧进行优先发送；

若数据帧即将错过截止时间要求，则判断当前数据帧是否要添加冗余数据包，若需要，则通过深度强化学习模型的决策设置冗余率，添加冗余数据包，并根据决策的发送速率发送当前数据帧，若不需要，则根据当前发送速率发送当前数据帧；

通过深度强化学习模型的获取新的数据帧发送速率发送数据帧。

本发明实施例的面向截止时间感知的实时流媒体的传输控制方法，可以自适应各种截止时间和优先级的实时流媒体应用的需求以及在多样化的网络状态下，对发送端的帧调度、冗余策略及发送速率做出自适应的调节，减少各种带宽浪费的情况，有效提升用户体验。