[发明专利]一种基于强化学习和喷泉码的屏幕更新传输方法

权利要求书

1.一种基于强化学习和喷泉码的屏幕更新传输方法，其特征在于，包括以下步骤：

步骤1：在发送方，待传输的屏幕更新数据被分片并送至基于强化学习的发送速率控制模块；发送速率控制模块采用强化学习算法SARSA与传输环境进行交互，包括迭代网络状态感知、发送行为决策、行为奖励计算三个过程，实时学习不同网络状态对应的最优发送策略；发送速率控制模块根据习得的策略确定封装屏幕更新的源数据包递送至FEC编码器的速率；

步骤2：FEC编码器采用系统Raptor码作为喷泉码的具体实现，将一个源数据包对应于喷泉码中的一个符号存入编码缓冲区；当编码缓冲区中源数据包的数量低于某一阈值时，直接传输源数据包至接收方；当源数据包的数量达到该阈值时，FEC编码器将源数据包组合成一个编码块并启动编码过程，此阈值即为编码块大小；FEC编码器中的块大小调整单元根据屏幕更新的生成速率和发送速率动态调整编码块大小；

步骤3：启动编码过程后，FEC编码器中的FEC冗余自适应单元根据复合丢包率和单向时延开销计算待生成的冗余包数量，其中，复合丢包率由传输丢包率和超时丢包率决定，单向时延开销由单向传播时延和传输时延决定；若由冗余包数量推算出的容忍丢包率不低于复合丢包率且传输编码块和附加冗余包的单向时延开销不超过用户可接受的最长等待时间，则逐一增加冗余包的生成数量；

步骤4：在接收方，采用Gilbert-Elliot模型对网络丢包行为进行建模，估计网络中的平均丢包率和平均突发丢包长度并反馈给发送方；若所有源数据包被正确接收，FEC解码器不启动解码过程并移除冗余包；若源数据包丢失且收到足够多的冗余包，FEC解码器将启动解码过程，通过喷泉码恢复丢失数据；若源数据包丢失但收到的冗余包数量不足，则接收方将失序的源数据包直接提交至传输层缓冲区，以触发重传恢复丢失数据；若接收到重传数据包，则直接将其放入传输层缓冲区；最后，源数据包在应用层完成重组，形成原始屏幕更新；

在所述步骤1中，迭代网络状态感知所感知的网络状态由源数据包发送时间间隔的指数加权移动平均值、确认反馈到达时间间隔的指数加权移动平均值、最新往返时延与最小往返时延的比值、拥塞窗口大小和慢启动阈值五部分组成；发送行为对应拥塞避免阶段的拥塞窗口增量，其可选值为-1，0，+1和+2，单位为一个最大数据段长度；奖励由反映屏幕更新传输目标的效能函数确定，效能函数由以下公式表示：

Utility＝Cumulative QoE＝log(δ*thput)-β₁log(last_RTT-RTT_min)+β₂log(1-plr)

其中，thput为吞吐率，δ为吞吐率的缩放因子，β₁和β₂是分别表示时延和丢包率在效能函数中所占权重的常数；last_RTT为最新往返时延的采样值，RTT_min为最小往返时延；plr为丢包率；奖励Reward由最新观测到的两个效能函数值之差△U确定：

在所述步骤1中，所述强化学习算法SARSA采用以下公式实时学习和调整不同网络状态对应的发送策略：

Q(s_n,a_n)＝Q(s_n,a_n)+α[r_n+2+γQ(s_n+1,a_n+1)-Q(s_n,a_n)]

其中，Q(s_n,a_n)为时间步长t_n开始时在网络状态为s_n的条件下执行发送行为a_n的预期收益，每个时间步长等于一个往返时延；α为学习率；r_n+2为时间步长t_n+2开始时计算得到的奖励值；γ为折扣因子；s_n+1为执行a_n后观测到的网络状态；a_n+1为根据s_n+1所选择的发送行为。