[发明专利]一种基于随机博弈在线学习的众包用户信息年龄管理方法

权利要求书

1.一种基于随机博弈在线学习的众包用户信息年龄管理方法，其特征在于，包含以下步骤：

步骤1，初始化众包数据和当前信道的属性，具体包括：

输入初始随机探索概率参数θ₀，折现系数γ，纳什均衡的近似参数∈，用户1和用户2生成数据包对应的单位成本{c₁，c₂}，初始信息年龄AoI{f₁(0)，f₂(0)}，以及初始信道状态{q₁(0)，q₂(0)}；设置当前迭代数t＝0；初始化用户1和用户2的状态均为s(0)＝{s₁(0)，s₂(0)}，在所有离散状态下的状态值{V₁[s₁(t)，s₂(t)]，V₂[s₁(t)，s₂(t)]}及策略对ξ(0)＝{ξ₁(0)，ξ₂(0)}；

步骤2，计算随机探索概率参数

步骤3，两个用户均分别选择动作a(t)＝{a₁(t)，a₂(t)}；均以1-θ的概率根据当前策略对ξ(t)＝{ξ₁(t)，ξ₂(t)}选择动作，或者以θ的概率随机选择动作；

步骤4，根据两个用户的动作以及用户当前状态，计算得到用户1对于众包平台的贡献比例和期望收益，用户2对于众包平台的贡献比例和期望收益；

在Δt时间内，计算用户i，i＝1，2，在该时间段中产生的所有数据包的信息年龄AoI，用户i在t轮迭代后的信息年龄AoI；并计算得出t+1轮迭代中的用户信息年龄AoI的转移概率；

根据两个用户的动作a(t)＝{a₁(t)，a₂(t)}，以及用户当前状态s(t)＝{s₁(t)，s₂(t)}，可以计算得到用户1对于众包平台的贡献比例其中i＝1，2，m_i(t)是指用户i成功传输到众包平台的数据包数量，用户1的期望收益为r₁[s(t)，a(t)]＝PoC₁[s(t)，a(t)]×W(t)-c₁a₁(t)，其中W(t)是众包平台所提供的总奖励，同样，用户2对于众包平台的贡献比例为用户2的期望收益为r₂[s(t)，a(t)]＝PoC₂[s(t)，a(t)]×W(t)-c₂a₂(t)；

在Δt时间内，用户i所产生的数据包的总数可表示为J_i(t)＝a_i(t)×Δt，每一个数据包j都被标记为{τ_i，j，j，J_i(t)}，分别表示其生成时间、次序和该时段内生成包的总数，τ_i，j表示用户i第j个数据包生成时间，对于每一个数据包j来说，其信息年龄AoI为其中α_i，j是数据包j被众包平台成功接收的时间，Δ_i，l(t-1)是上一个时间段中最后一个被接收的数据包l的AoI，故可计算用户i在该时间段中产生的所有数据包的AoI为p_i(t)指时间为t的时候，用户i的信道中，数据包成功传输的概率；用户i在t轮迭代后的AoI由f_i(t)更新为众包用户的状态转换包括信道质量的转换和用户AoI的转换，两者是相互独立的，因此，t+1轮迭代中的用户状态s(t+1)＝{s₁(t+1)，s₂(t+1)}的转移概率均为P[s(t+1)|s(t)，a(t)]＝P[f₁(t+1)|f₁(t)，a₁(t)]×P[f₂(t+1)|f₂(t)，a₂(t)]×P[q₁(t+1)]×P[q₂(t+1)]，其中，P[f₁(t+1)|f₁(t)，a₁(t)]和P[f₂(t+1)|f₂(t)，a₂(t)]表示AoI的转移概率，用户1和用户2的信道状态q1和q2的转移概率P[q₁(t+1)]和P[q₂(t+1)]可根据无线电传播模型进行估计，AoI的转移概率为：

使用户1和用户2的策略达到近似纳什均衡，即最佳策略对；

用表示近似最佳策略对，对于任意状态s∈S，都有其中表示ξ²取的是对于任意ξ₁来说，最优的下同，并且∈＞0，因此，用户i在状态s下的状态值的计算可以写为其中，r_i表示用户的收益，γ是折现系数；

两个用户的近似最佳策略对计算方式分别为和

其中，S表示状态集，Pr表示从状态s采集动作转移到s′的概率，s′表示不等于s的状态；

步骤5，利用步骤4中最佳策略对更新用户1用户2的最佳策略；

步骤6，根据步骤4所得结果分别更新两个用户的状态值；

步骤7，如果用户的策略收敛，结束算法并输出策略对；否则增值t，返回步骤2。