[发明专利]一种基于随机博弈在线学习的众包用户信息年龄管理方法

说明书

本发明涉及一种基于随机博弈在线学习的众包用户信息年龄管理算法，采取最大化未来期望收益的方法，让众包用户在学习过程中自适应地动态调整数据包产生速率，根据学习结果获取不同状态下的最佳选择策略，使得使用该策略的用户长期收益最大化。解决众包用户在动态环境下自适应选择可以最大化长期收益的最佳选择策略的问题，将众包用户之间的竞争描述为随机博弈模型，使用在线学习算法获得最佳数据包产生速率选择策略。

技术领域

本发明属于众包和在线学习领域，尤其涉及一种基于随机博弈在线学习的众包用户信息年龄管理方法。

背景技术

随着物联网(IoT)技术的快速发展和便携式设备的广泛普及，对实时信息更新的需求越来越迫切，例如新闻、天气预报和交通状况等。在大多数的情况下，过时的信息几乎没有用处。为了收集实时的交通数据，谷歌地图邀请用户群体在自己的位置提交实时路况信息，比如报告是否存在交通堵塞或者交通事故，使用该地图的其他用户则可以及时看到这些交通消息，并根据这些信息来更好地规划自己的路线。这种众包的做法越来越多，它结合了群体的集体努力来保持信息的实时更新。

众包集结了群体的力量来完成特定的任务。众包平台招募用户来执行特定的感知任务。为了能提供足够及时的数据信息，众包平台需要吸引大量的用户。然而，生成和传输信息会消耗用户移动设备上的资源，因此，众包平台需要设计有效的激励机制来补偿用户对电池、计算能力等资源的消耗，以鼓励用户贡献更多的信息。众包平台通常会根据用户完成任务的数量给予相应的奖励。信息年龄(Age-of-information,AoI)作为一种评价信息新鲜度的新指标被引入，它度量了用户采集的数据信息从生成到被接收之间经过的时间。现有的这类关于AoI 的经济问题更多的是将两个众包平台之间的竞争定义为一种非合作博弈，而对试图从平台得到理想的利润的用户之间的竞争进行研究的文献还比较少。从用户的角度看，特别是用户如何管理AoI以从众包平台获得最优的回报，目前还没有研究。

具体地说，在众包进行过程中，用户根据当前观测到的信道质量和自己当前的AoI来确定数据包的生成速率，生成的数据包会被传输到众包平台上，但是成功传输的数据包的比例会受到信道质量的影响，信道质量越高，传输成功的概率也就越大。接收到新生成的数据包，众包平台将更新用户的AoI。如果在当前时间段中被接收到的数据包越多，那么用户的AoI 将越低，也就意味着信息越新。然后，平台根据接收到的用户数据包数量和信息的AoI计算出用户的贡献，并按贡献的比例向用户分发固定数额的奖励。一般来说，众包平台根据用户对于众包任务的贡献比例，在固定的奖励池中为用户分配不同的奖励。这说明用户获得的奖励不仅取决于自己的贡献，还受到其他用户贡献的影响，这就会导致用户之间的激烈竞争。让问题更加复杂的是，由于无线信道质量的不确定性，并不是所有用户生成的数据都能顺利交付到平台上。如果信道质量较差，即使用户生成大量的数据包，也只有很少比例的数据包能被成功传输到众包平台，考虑到生成数据包的成本，信道质量也会影响用户的收益。

发明内容

本发明针对现有技术的不足，提供一种基于随机博弈学习的众包用户信息年龄管理方法。

本发明的技术方案为一种近似纳什均衡学习算法，包含以下步骤：