[发明专利]基于边缘计算和主动缓存的360度虚拟现实视频传输系统及参数优化方法

权利要求书

1.一种基于边缘计算和主动缓存的360度虚拟现实视频传输系统，包括：云服务器、MEC服务器以及客户端；其特征在于：

所述云服务器存储有360度虚拟现实视频并通过神经网络生成对应的显著图，在对视频进行编码时采用等距柱状投影的方式将其划分为N×M个tile，并将每个tile的多个视频帧的数据压缩为一组图片序列，N和M均为自定义的自然数；同时根据MEC服务器反馈的视野预测结果向MEC服务器传输相应的视频数据包或直接将视频数据包发送给客户端；

所述MEC服务器对云服务器下发的视频数据包进行缓存并发送给客户端，同时也会对缓存中的部分视频数据包进行解码渲染并将视频数据发送给客户端，此外MEC服务器会根据来自云服务器的显著图以及客户端提供的运动传感数据预测用户的视野概率分布即视野预测结果；

所述客户端用于收集用户的运动传感数据并上传给MEC服务器，同时对MEC服务器或云服务器提供的视频数据包进行解码以及渲染，完成2维视频向360度球面视频的转换并进行播放；

系统采用周期性的工作方式，每个周期由缓存阶段和计算与传输阶段组成，视频数据在时域上进行划分，分为多个视频块，每个视频块的时长为D₁，并且规定在第l个工作周期内用户所观看的视频块索引为l-1，l为大于1的自然数；在缓存阶段，云服务器根据MEC服务器反馈的视野预测结果向MEC服务器传输相应的视频数据包，缓存阶段时长为D_c且满足D_c≤D₁；在计算与传输阶段开始时刻，客户端向MEC服务器发出包含有运动传感数据的视野请求，MEC服务器根据网络及本地计算资源状况对相应的部分视频数据包进行解码和渲染处理后将视频数据传输给客户端，客户端接收到来自MEC服务器或云服务器的数据后，将其中未解码渲染的视频数据包进行解码渲染处理并进行播放；

对于缓存阶段，在第l个工作周期开始时，MEC服务器根据第l个视频块的显著图以及第l-1个工作周期内用户的运动传感数据预测用户在第l+1个工作周期开始时的视野概率分布其中表示在第l+1个工作周期开始时用户视点落入坐标为的tile中的概率，N＝{1,2,…,N}，M＝{1,2,…,M}；MEC服务器在缓存阶段根据各tile预测的请求概率矩阵P_R(n,m)＝[P_R(n,m)]_N×M中对应元素按从大到小的顺序缓存第l个视频块的数据，其中P_R(n,m)表示在第l+1个工作周期开始时坐标为(n,m)的tile至少有一部分落在用户视野区域内的概率，n∈N，m∈M；

缓存阶段结束后即为计算与传输阶段，在这个阶段的开始时刻，客户端会给MEC服务器发送用户的视野请求，该视野请求中包含有位于用户视野中心的tile的横纵坐标；所述计算与传输阶段包括了MEC服务器计算阶段、从MEC服务器到客户端传输阶段、从云服务器到客户端传输阶段、客户端计算阶段，为了利用MEC服务器的计算能力来减小客户端计算阶段的时延，可由MEC服务器完成部分视频数据包的解码渲染任务并将视频数据传输给客户端，而云服务器也会把MEC服务器没有缓存且用户需要的视频数据包直接发送给客户端，最后由客户端完成解码渲染任务并进行播放；

在MEC服务器计算阶段，当收到客户端新的视野请求，MEC服务器会检查其缓存中是否有用户所需的视频数据包；为了平衡通信时延和计算时延，MEC服务器从缓存中用户所需的视频数据包中取比例为c的部分数据包进行解码渲染后将视频数据传输给客户端，其中c∈[0,1]；在从MEC服务器到客户端传输阶段，对于客户端向MEC服务器请求的数据，包括MEC服务器解码渲染过后得到的视频帧和未解码渲染的视频数据包，都将由MEC服务器传送给客户端；在从云服务器到客户端传输阶段，对于MEC服务器没有缓存且用户需要的视频数据包，直接由云服务器传送给客户端；在客户端计算阶段，客户端对MEC服务器或云服务器提供的视频数据包进行解码渲染，此时第l个工作周期的通信和解码渲染任务已经完成，客户端在第l+1个工作周期的开始时刻播放第l个视频块的视频帧；

通过优化视频块的时长D₁和渲染的比例c以最小化系统的中断概率P_out，即中断概率P_out的表达式如下：

D_M,l＝D_2,l+D_3,l+D_4,l+D_5,l

其中：D_M,l为系统在第l个工作周期从客户端发出视野请求到客户端播放第l个视频块的端到端时延，p(D_M,l＝t_l)为关于D_M,l的概率密度函数，D_th为给定的时延阈值，t_l表示第l个工作周期内的时刻，D_2,l为第l个工作周期中MEC服务器计算阶段的时延，D_3,l为第l个工作周期中从MEC服务器到客户端传输阶段的时延，D_4,l为第l个工作周期中从云服务器到客户端传输阶段的时延，D_5,l为第l个工作周期中客户端计算阶段的时延；

所述概率密度函数p(D_M,l＝t_l)的表达式如下：

其中：A_c,l为缓存矩阵且A_c,l＝[a_c,l(n,m)]_N×M，其中的元素值a_c,l(n,m)表示在第l个工作周期缓存阶段结束时刻坐标为(n,m)的tile在MEC服务器中的缓存情况，a_c,l(n,m)＝1即表示tile被缓存，a_c,l(n,m)＝0即表示tile未被缓存；A_r,l为请求矩阵且A_r,l＝[a_r,l(n,m)]_N×M，其中的元素值a_r,l(n,m)表示在第l个工作周期开始时坐标为(n,m)的tile是否在用户视野区域内，a_r,l(n,m)＝1即表示tile在用户视野区域内，a_r,l(n,m)＝0即表示tile不在用户视野区域内；G_l表示在第l个工作周期缓存阶段MEC服务器缓存的tile数量，g表示G_l在其状态空间Ω中的任一取值，每一个已知的缓存矩阵A_c,l均对应一个确定的g，表示G_l的概率分布；P_F(n_l,m_l)表示在第l+1个工作周期开始时用户视点落入坐标为(n_l,m_l)的tile中的真实概率大小，N＝{1,2,…,N}，M＝{1,2,…,M}；表示在已知缓存矩阵A_c,l和请求矩阵A_r,l的情况下D_M,l的条件概率密度函数；

所述条件概率密度函数的表达式如下：

Γ_3,l＝Γ_1,l(c·h+1-c)

Γ_4,l＝D₁fB(E_l-Q_l)

其中：t₂表示第l个工作周期从MEC服务器到客户端传输阶段内的时刻，t₃表示第l个工作周期从云服务器到客户端传输阶段内的时刻，α₂和β₂分别为从MEC服务器到客户端传输阶段的漂移系数和扩散系数，b_2,l为从MEC服务器到客户端传输阶段的吸收边界，α₃和β₃分别为从云服务器到客户端传输阶段的漂移系数和扩散系数，b_3,l为从云服务器到客户端传输阶段的吸收边界，Γ_3,l表示在第l个工作周期内MEC服务器向客户端传输的总数据量，Γ_4,l表示在第l个工作周期内云服务器向客户端传输的总数据量，Γ_1,l＝D₁fBQ_l，C_r为视频编码压缩后与编码压缩前的数据量大小比值，s为每个视频数据包的大小，f表示视频帧率，B表示tile中每帧视频的数据量大小，Q_l表示第l个工作周期内缓存在MEC服务器中且被客户端请求的tile数量，E_l表示第l个工作周期内实际被客户端请求的tile数量，h表示视频渲染后与渲染前的数据量大小比值，R₂(t)表示从MEC服务器到客户端之间网络的瞬时传输速率，R₃(t)表示从云服务器到客户端之间网络的瞬时传输速率，E()表示均值，Var()表示方差。