[发明专利]机器人云与端协同计算处理方法、设备及存储介质

权利要求书

1.一种机器人云与端协同计算处理方法，其特征在于，用于云机器人系统的机器人与云服务器通信进行协同处理机器人计算任务中，每个机器人均部署一个本地计算处理模型和协同模型，云服务器部署云端计算处理模型，包括：

步骤1，估算机器人当前状态下计算任务要求的计算精度；

步骤2，若机器人的计算数据被协同到云服务器，由云服务器来完成所述机器人的当前状态下计算任务时，估算出在传输过程和处理计算任务过程的网络延迟；

步骤3，通过多智能体深度强化学习算法利用计算精度、计算数据和网络延时对各机器人的协同模型进行训练得出最优协同模型，所述最优协同模型能在处理计算任务状态时，选择出处理计算任务的计算处理对象，所述计算处理对象为机器人的本地计算处理模型或云服务器的云端计算处理模型；

步骤4，在机器人处理计算任务时，应用训练得出的最优协同模型，根据云机器人系统的当前网络和计算任务状态确定处理计算任务的计算处理对象，由确定的计算处理对象处理对应的计算任务。

2.根据权利要求1所述的机器人云与端协同计算处理方法，其特征在于，所述步骤3中，将机器人与云服务器的云与端协同计算过程建模为如下的马尔可夫决策过程：

M_offload＝(S_offload，A_offload，R_offload，P_offload，T)

其中，S_offload为状态空间，表示多智能体深度强化学习算法进行决策用信息；其中的每个状态空间进行决策用信息包含：计算数据x^t、计算精度f^t和网络延时n^t，即A_offload为动作空间集合，其中的每个动作空间a_offload表示多智能体深度强化学习算法选择的动作，每个协同模型能选择的动作有两个：一个是选择机器人机载的本地计算处理模型进行计算，另一个是将计算数据分流到云服务器并选择云端计算处理模型进行计算，即：

R_offload为奖励函数，表示多智能体深度强化学习算法中的最优协同模型要实现的目标；该奖励函数需要权衡奖励机器人计算资源限制和网络负载限制，实现最优化的云与端协同计算；

其中，为奖励函数，表示该次动作后环境给予的奖励，α_acc和β_cost是两个超参数，分别用来调整不同情况下机器人的计算资源限制和网络负载限制，其中表示处理当前计算任务所消耗的资源；cost(a^t)表示根据a^t选择本地计算处理模型还是云端计算处理模型所消耗的网络资源；P_offload表示系统通过传感器动态获取输入数据和受限网络当前带宽占用的变化量；T为时间变化。

3.根据权利要求2所述的机器人云与端协同计算处理方法，其特征在于，所述计算数据x^t若为高维向量，则用从计算数据x^t提取的特征表征计算数据。