[发明专利]一种基于强化学习的边缘计算服务激励方法

说明书

本发明提供了一种基于强化学习的边缘计算服务激励方法，包括：确定边缘计算服务的提供商和物联网设备的效用函数；建立一个具有两阶段、多领导者多跟随者的博弈问题模型，确定提供商和物联网设备的子博弈问题；构建多智能体马尔可夫决策过程模型，根据基于强化学习的最优定价算法确定每个提供商的最优定价；其中，在最优定价算法中每个物联网设备计算计算服务需求并发送给提供商；经最大次数的博弈后，得到提供商的最优定价和物联网设备的最优计算服务需求。本发明根据多个提供商同时为多个物联网设备提供边缘计算服务的实际情况，综合考虑了隐私保护和多个提供商之间的竞争，为多个提供商和多个物联网设备提供了一个不泄露隐私的激励机制。

技术领域

本发明涉及边缘计算技术领域，尤其是涉及一种基于强化学习的边缘计算服务激励方法。

背景技术

随着科技的发展，越来越多的物联网设备被投入到实际的应用中。在现实场景中，物联网设备往往通过其传感器收集到大量的数据，并需要对这些数据进行处理。这些任务往往是计算密集型的，需要消耗大量的计算资源才能完成。而物联网设备上的计算资源非常有限，无法按时完成这些计算密集型的任务。

为了让资源有限的物联网设备能够按时完成其计算密集型任务，把计算任务卸载到边缘计算去执行，是一个可行的解决方案。为了让物联网设备能够顺利把任务卸载到边缘计算服务提供商处去执行，即为了让提供商和设备之间的计算服务交易能够顺利进行，需要设计一个合理的激励机制，使得边缘计算服务提供商和物联网设备都能从任务卸载中获利。

现有的激励机制方法中，有些存在暴露物联网设备隐私的问题，有些基于强化学习的激励机制中没有考虑多个计算服务提供商同时为多个物联网设备提供计算服务的情况，忽略了现实情况中多个计算服务提供商之间的竞争。

发明内容

本发明的目的是提供一种基于强化学习的边缘计算服务激励方法，以解决边缘计算服务中没有综合考虑隐私保护和多个提供商之间的竞争的技术问题。

本发明的目的，可以通过如下技术方案实现：

一种基于强化学习的边缘计算服务激励方法，包括：

确定边缘计算服务的提供商和物联网设备的效用函数；

建立一个具有两阶段、多领导者多跟随者的博弈问题模型，确定所述提供商和物联网设备的子博弈问题；其中，所述领导者为提供商，所述跟随者为物联网设备；

构建多智能体马尔可夫决策过程模型，根据基于强化学习的最优定价算法确定每个提供商的最优定价；其中，在所述最优定价算法中每个物联网设备计算各自的最优计算服务需求并发送给提供商；

经最大次数的博弈后，确定提供商的最优定价和物联网设备的最优计算服务需求，得到提供商和物联网设备的效用函数的最大值。

可选地，所述提供商的效用函数为：

其中，φ_j表示提供商j的效用函数值，i表示第i个物联网设备，表示物联网设备的总量，j表示第j个提供商，表示提供商的总量，x_ij表示提供商j为设备i提供的计算服务的数量，p_j表示提供商j的计算服务的单价，c_j表示提供商j的计算服务的单位成本，p_k表示提供商k的计算服务的单价，表示物联网设备i选择提供商j作为自己卖家的概率。

可选地，所述物联网设备的效用函数为：

其中，φ_i表示第i个物联网设备的效用函数值，a_i表示物联网设备i完成任务所需消耗的计算资源的数量，V_i表示物联网设备i完成任务获得的奖励，e为自然常数。