[发明专利]具有约束的分布式随机优化模型训练方法、装置及终端有效
| 申请号: | 202210486474.6 | 申请日: | 2022-05-06 |
| 公开(公告)号: | CN114580578B | 公开(公告)日: | 2022-08-23 |
| 发明(设计)人: | 侯洁;孙涛;崔金强;丁玉隆;尉越 | 申请(专利权)人: | 鹏城实验室 |
| 主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N20/00 |
| 代理公司: | 深圳市君胜知识产权代理事务所(普通合伙) 44268 | 代理人: | 朱阳波 |
| 地址: | 518000 广*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 具有 约束 分布式 随机 优化 模型 训练 方法 装置 终端 | ||
1.具有约束的分布式随机优化模型训练方法,所述方法应用于传感器网络中的定位,模型中包括由至少两个智能体组成的智能体集合,所述智能体为传感器网络中的智能体,其特征在于,所述方法包括:
循环获取所述智能体集合中的每一个智能体,对所述智能体进行迭代训练并在所述智能体中保存生成的迭代数据,直至所述模型的迭代次数达到设定次数;
所述对智能体进行迭代训练包括如下步骤:
获取训练样本,所述训练样本为随机的样本数据,所述随机的样本数据为在训练集中随机选取的样本数据或在线采样获取的样本数据;
基于所述智能体集合中各智能体之间的关联关系,获得与当前迭代的智能体对应的邻居节点数据,所述邻居节点数据包括各个智能体之间的连接权重、各个智能体保存的上一次迭代时获得的迭代数据;
基于所述邻居节点数据,根据平均一致性算法获得平均状态数据;
基于所述平均状态数据和当前迭代的智能体的迭代数据,计算随机梯度并根据所述随机梯度计算局部梯度;
计算局部梯度的梯度下降值并根据所述邻居节点数据获得全局梯度;
基于所述全局梯度,根据条件梯度算法更新当前迭代的智能体的待优化参数。
2.如权利要求1所述的具有约束的分布式随机优化模型训练方法,其特征在于,所述基于所述平均状态数据和当前迭代的智能体的迭代数据,计算随机梯度并根据所述随机梯度计算局部梯度,包括:
基于所述平均状态数据,获得第一随机梯度;
基于所述迭代数据中的平均状态数据,获得第二随机梯度;
基于预设的衰减步长、所述迭代数据中的局部梯度、所述第一随机梯度、所述第二随机梯度,获得所述局部梯度。
3.如权利要求2所述的具有约束的分布式随机优化模型训练方法,其特征在于,所述基于预设的衰减步长、所述迭代数据中的局部梯度、所述第一随机梯度、所述第二随机梯度,获得所述局部梯度的表达式为:
,
其中为衰减步长,,为迭代数据中的局部梯度,为第一随机梯度,为第二随机梯度,为随机变量。
4.如权利要求1所述的具有约束的分布式随机优化模型训练方法,其特征在于,所述基于所述邻居节点数据,根据平均一致性算法获得平均状态数据,包括:
获取所述邻居节点数据中各智能体的待优化参数并根据平均一致性算法获得所述平均状态数据。
5.如权利要求1所述的具有约束的分布式随机优化模型训练方法,其特征在于,所述计算局部梯度的梯度下降值并根据所述邻居节点数据获得全局梯度,包括:
基于所述局部梯度和所述当前迭代的智能体的迭代数据中的局部梯度,获得所述梯度下降值;
基于所述智能体集合中各智能体之间的关联关系,获得与所述当前迭代的智能体关联的邻居节点;
基于所述梯度下降值和所述邻居节点的迭代数据中的聚合梯度,获得所述当前迭代的智能体的聚合梯度;
基于所述邻居节点数据,根据平均一致性方法获得所述全局梯度。
6.如权利要求1所述的具有约束的分布式随机优化模型训练方法,其特征在于,所述基于所述全局梯度,根据条件梯度算法更新当前迭代的智能体的待优化参数,包括:
获取目标场景的约束集合;
基于所述全局梯度与所述约束集合的相关性,获得可行方向;
基于所述可行方向与所述平均状态数据的凸组合,更新所述当前迭代的智能体的待优化参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于鹏城实验室,未经鹏城实验室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210486474.6/1.html,转载请声明来源钻瓜专利网。





