[发明专利]数据训练方法、装置及系统、计算机设备有效
申请号: | 201711377963.3 | 申请日: | 2017-12-19 |
公开(公告)号: | CN109948632B | 公开(公告)日: | 2021-03-26 |
发明(设计)人: | 郑星 | 申请(专利权)人: | 杭州海康威视数字技术股份有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N20/00 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 江崇玉 |
地址: | 310051 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 训练 方法 装置 系统 计算机 设备 | ||
1.一种数据训练方法,其特征在于,用于数据训练系统中的第一训练主机,所述数据训练系统中包括多个训练主机,所述第一训练主机为所述多个训练主机中的一个,每个所述训练主机中存储有相同的训练数据集以及包括所述训练数据集中所有数据的名称的相同的文件名集合,所述方法包括:
与其他训练主机获取同一伪随机数种子,所述其他训练主机为所述多个训练主机中除所述第一训练主机以外的训练主机;
执行至少一次训练过程,直至所述训练过程的执行结果满足预设停止条件,所述训练过程包括:
基于所述伪随机数种子,对所述文件名集合进行随机化处理,得到更新后的文件名集合,
基于所述更新后的文件名集合,对所述训练数据集中的第一数据子集进行训练,直至所述多个训练主机完成本次对所述训练数据集的训练后,再次执行所述训练过程,所述第一数据子集包括所述训练数据集中所述第一训练主机对应的数据;
其中,所述数据训练系统中的所有训练主机在执行同一次训练过程时,所得到的更新后的文件名集合均相同。
2.根据权利要求1所述的方法,其特征在于,所述第一训练主机为管理训练主机,所述与其他训练主机获取同一伪随机数种子,包括:
生成某一伪随机数种子;
向所述其他训练主机发送所述某一伪随机数种子。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
接收第二训练主机发送的所述训练数据集中的第二数据子集的训练进度信息,所述第二训练主机为所述其他训练主机中的任一训练主机,所述第二数据子集包括所述训练数据集中所述第二训练主机对应的数据;
在确定所述数据训练系统中的所有训练主机完成本次对所述训练数据集的训练后,执行新一次的训练过程,并向所述其他训练主机发送训练启动指示信息,所述训练启动指示信息用于指示所述其他训练主机执行新一次的训练过程。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在完成对所述第一数据子集的训练后,向所述其他训练主机发送所述第一数据子集的训练进度信息;
接收第二训练主机发送的所述训练数据集中的第二数据子集的训练进度信息,所述第二训练主机为所述其他训练主机中的任一训练主机,所述第二数据子集包括所述训练数据集中所述第二训练主机对应的数据;
在确定所述数据训练系统中的所有训练主机完成本次对所述训练数据集的训练后,执行新一次的训练过程。
5.根据权利要求4所述的方法,其特征在于,所述向所述其他训练主机发送所述第一数据子集的训练进度信息,包括:
在所述数据训练系统中广播所述第一数据子集的训练进度信息。
6.根据权利要求1所述的方法,其特征在于,所述基于所述伪随机数种子,对所述文件名集合进行随机化处理,包括:
基于所述伪随机数种子,采用随机洗牌算法对所述文件名集合进行随机化处理;
其中,所述数据训练系统中的所有训练主机在执行同一次训练过程时,所采用的随机洗牌算法的迭代次数相同。
7.根据权利要求1所述的方法,其特征在于,所述文件名集合由多个文件名子集合组成,所述多个文件名子集合与所述多个训练主机一一对应,所述多个文件名子集合中任意两个文件名子集合中的所有数据名称均不相同;
所述基于所述更新后的文件名集合,对所述训练数据集中的第一数据子集进行训练,包括:
获取所述更新后的文件名集合中的第一文件名子集合,所述第一文件名子集合为所述第一训练主机对应的文件名子集合;
基于所述第一文件名子集合,从所述训练数据集中获取所述第一数据子集;
对所述第一数据子集进行训练。
8.根据权利要求7所述的方法,其特征在于,
所述文件名集合以文件名列表的形式表征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711377963.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种水力要素的确定方法及装置
- 下一篇:一种丁字路口客车下客点选择方法
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置