[发明专利]一种基于DQN的云际资源接入的决策方法及系统

权利要求书

1.一种基于DQN的云际资源接入的决策方法，其特征在于，包括：

设定动作a_t，所述动作a_t包括接入、不接入；

初始化评估网络Q(s_t,a_t；w)，其中，s_t表示状态信息，w表示第一训练参数；

设置目标网络为其中，w^-表示第二训练参数；

采集状态信息s_t，所述状态信息s_t包括平台已有资源信息、用户需求信息以及云商的待接入资源信息；

所述评估网络Q(s_t,a_t；w)根据所述状态信息s_t执行所述动作a_t，得到云商价值r_t；

利用所述目标网络和所述云商价值r_t循环迭代训练所述评估网络Q(s_t,a_t；w)，得到更新后的第一训练参数；

利用所述更新后的第一训练参数更新所述目标网络，得到新目标网络；

将所述状态信息s_t输入所述新目标网络，得到初步接入决策；

根据所述初步接入决策判断是否接入，若接入，云商提供待接入资源；若不接入，云商判断是否改变待接入资源信息，若是，将改变后的所述状态信息输入所述新目标网络，再次判断是否接入，若否，不接入资源；

将接入情况反馈至平台，所述状态信息s_t更新后，跳转至采集状态信息s_t步骤。

2.根据权利要求1所述的一种基于DQN的云际资源接入的决策方法，其特征在于，所述评估网络Q(s_t,a_t；w)执行所述动作a_t时，采取ε-贪心方法决定动作其中，ε表示探索参数。

3.根据权利要求1所述的一种基于DQN的云际资源接入的决策方法，其特征在于，利用所述目标网络和所述价值r_t循环迭代训练所述评估网络，得到更新后的第一训练参数，具体为：

将所述状态信息s_t、动作a_t、云商价值r_t和状态信息s_t+1存储至缓冲区，得到存储信息(s_t,a_t,r_t,s_t+1)；

从所述缓冲区中随机采样m条所述存储信息(s_t,a_t,r_t,s_t+1)；

设置目标值为y_t＝r_t+max_aQ(s_t+1,a,w^-)；

更新所述第一训练参数，当所述评估网络与所述目标值的误差满足预定要求时，对应的所述第一训练参数作为更新后的第一训练参数。

4.根据权利要求1所述的一种基于DQN的云际资源接入的决策方法，其特征在于，利用所述更新后的第一训练参数更新所述目标网络，具体为：

利用所述更新后的第一训练参数替换所述第二训练参数。

5.根据权利要求1所述的一种基于DQN的云际资源接入的决策方法，其特征在于，初始化评估网络Q(s_t,a_t；w)之前，还包括：

利用卷积神经网络生成评估网络。

6.根据权利要求1所述的一种基于DQN的云际资源接入的决策方法，其特征在于，每个所述云商具有多项待接入资源，计算初步接入决策时，遍历每一项待接入资源得到每一项待接入资源的价值r_i，对所有待接入资源的价值r_i求和，得到对应的所述云商价值r_t。