[发明专利]一种基于DQN的云际资源接入的决策方法及系统在审

专利信息
申请号: 202310318592.0 申请日: 2023-03-28
公开(公告)号: CN116471300A 公开(公告)日: 2023-07-21
发明(设计)人: 曾荣飞;赵明洋;褚晓文;刘羽飞;韩子森 申请(专利权)人: 东北大学
主分类号: H04L67/12 分类号: H04L67/12;G06N3/045;G06N3/0464;G06N3/092;H04L41/14;H04L41/142
代理公司: 北京科领智诚知识产权代理事务所(普通合伙) 11782 代理人: 陈士骞
地址: 110819 辽宁*** 国省代码: 辽宁;21
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 dqn 云际 资源 接入 决策 方法 系统
【说明书】:

发明公开一种基于DQN的云际资源接入的决策方法及系统,涉及云计算领域,包括设定动作;初始化评估网络;设置目标网络;采集状态信息;评估网络执行动作;迭代训练评估网络;更新目标网络;将状态信息输入新目标网络,得到初步接入决策;根据初步接入决策判断是否接入,若接入,云商提供待接入资源;若不接入,云商判断是否改变待接入资源信息,若是,将改变后的状态信息输入新目标网络,再次判断是否接入,若否,不接入资源;将接入情况反馈至平台,状态信息ssubgt;t/subgt;更新后,跳转至采集状态信息ssubgt;t/subgt;步骤。本发明应用深度强化学习中的DQN算法进行接入决策,能够节约大量人力成本,同时极大程度提高资源接入的效率。

技术领域

本发明涉及云计算领域,具体而言,涉及一种基于DQN的云际资源接入的决策方法及系统。

背景技术

近年来,云际计算已成为新一代云计算模式,支持云服务提供者之间开放协作、多方云资源深度融合,为建设全国一体化大数据中心、引领数字经济高质量发展提供关键支撑。全时全域的多样化存算和资源确权流通是构建大规模云际计算生态的基础需求,但面临着资源汇聚难、工作流调度复杂、资源跨域交互缺少可信监管与高效治理等痛点问题。为此,急需研究全时全域、高可信、隐私保护的云监管与治理体系,突破契约式跨域磋商、多目标动态分配与并行调度、联邦式多方计算治理以及软件系统差异化部署与动态重构技术。

在异构的多维资源云计算场景下,纵向接入和适配机制需要能够感知大量用户的实际资源使用需求,充分考虑平台的数据资源、存储资源、计算资源、网络资源等不同层级的已有资源情况,甚至需要权衡传统云和边缘云的不同资源和使用成本,来决定是否接入和适配不同类型资源。现有的云际计算场景下的纵向接入和适配机制主要有两种,一种是直接将云服务提供商想为云际平台提供上架的资源直接接入,这种不加选择的资源接入会导致平台中资源冗余,不考虑平台资源情况与用户的实际资源使用需求以及平台的接入成本、资源利用率,导致平台成本提高,资源利用率低;另一种是由人工进行资源接入审核以及接入决策,这种方法过于耗费人力资源,提高了维护平台的人力成本,而且云际平台体量巨大,大量云商资源接入请求频繁,人工处理效率低下。

针对现有技术的不足,本发明将强化学习技术运用到异构的多维资源云计算场景的纵向接入及适配机制中,充分考虑平台用户等各种信息进行智能决策,提出了一种采用深度强化学习中的DQN(deep Q-network)算法来实现云际环境中的资源接入的动态决策和适配机制。

发明内容

本发明提供一种基于DQN的云际资源接入的决策方法及系统,用以克服现有技术中存在的至少一个技术问题。

一方面,本发明实施例提供一种基于DQN的云际资源接入的决策方法,包括:

设定动作at,所述动作at包括接入、不接入;

初始化评估网络Q(st,at;w),其中,st表示状态信息,w表示第一训练参数;

设置目标网络为其中,w-表示第二训练参数;

采集状态信息st,所述状态信息st包括平台已有资源信息、用户需求信息以及云商的待接入资源信息;

所述评估网络Q(st,at;w)根据所述状态信息st执行所述动作at,得到云商价值rt

利用所述目标网络和所述云商价值rt循环迭代训练所述评估网络Q(st,at;w),得到更新后的第一训练参数;

利用所述更新后的第一训练参数更新所述目标网络,得到新目标网络;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东北大学,未经东北大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202310318592.0/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top