[发明专利]基于机器学习的任务处理方法、装置和终端设备有效
| 申请号: | 201810578498.8 | 申请日: | 2018-06-07 |
| 公开(公告)号: | CN108924187B | 公开(公告)日: | 2020-05-08 |
| 发明(设计)人: | 秦铎浩 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
| 主分类号: | H04L29/08 | 分类号: | H04L29/08 |
| 代理公司: | 北京市铸成律师事务所 11313 | 代理人: | 陈建焕;杨瑾瑾 |
| 地址: | 100085 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 机器 学习 任务 处理 方法 装置 终端设备 | ||
1.一种基于机器学习的任务处理方法,其特征在于,包括:
根据机器学习模型的任务处理请求的类型,将所述任务处理请求加入对应的任务处理队列中;其中,所述任务处理队列包括合并请求队列和有序请求队列;如果所述任务处理请求的类型为参数更新请求,则加入所述合并请求队列,如果所述任务处理请求的类型为参数获取请求,则加入所述有序请求队列;
在满足合并条件的情况下,将所述合并请求队列中的各参数更新请求合并,并根据合并后的参数更新请求更新所述机器学习模型的模型参数;所述将所述合并请求队列中的各参数更新请求合并,包括:对所述合并请求队列中的各参数更新请求包括模型参数的赋值分别进行赋值合并,获得各模型参数的唯一赋值,以组成参数更新组,并将所述参数更新组加入合并后的参数更新请求中;
根据所述有序请求队列中参数获取请求排列的先后顺序,依次获取所述机器学习模型的模型参数,并返回给相应的客户端。
2.如权利要求1所述的基于机器学习的任务处理方法,其特征在于,所述根据机器学习模型的任务处理请求的类型,将所述任务处理请求加入对应的任务处理队列中,包括:
判断所述任务处理请求的类型;
如果所述任务处理请求的类型为参数获取请求,则将所述参数获取请求按照请求时间的先后顺序依次排列在有序请求队列中;
如果所述任务处理请求的类型为参数更新请求,则根据所述参数更新请求中请求更新的模型参数所属范围,将所述参数更新请求加入到与所述模型参数所属范围相符的合并请求队列中。
3.如权利要求1所述的基于机器学习的任务处理方法,其特征在于,所述在满足合并条件的情况下,将所述合并请求队列中的各参数更新请求合并,包括以下任意一种方式:
判断所述合并请求队列包含的参数更新请求的数量是否达到数量阈值,当所述合并请求队列包含的参数更新请求的数量达到所述数量阈值时,将所述合并请求队列中的各参数更新请求合并;
判断所述合并请求队列距离上一次执行合并请求的操作的时长是否达到时长阈值,当所述合并请求队列距离上一次执行合并请求的操作的时长达到所述时长阈值时,将所述合并请求队列中的各参数更新请求合并;
判断所述合并请求队列包含的参数更新请求的数量是否达到数量阈值,以及,判断所述合并请求队列距离上一次执行合并请求的操作的时长是否达到时长阈值,当所述合并请求队列包含的参数更新请求的数量达到所述数量阈值时,且当所述合并请求队列距离上一次执行合并请求的操作的时长达到所述时长阈值时,将所述合并请求队列中的各参数更新请求合并。
4.如权利要求1所述的基于机器学习的任务处理方法,其特征在于,所述根据合并后的参数更新请求更新所述机器学习模型的模型参数,包括:
根据合并后的参数更新请求的生成时间或当前时间,计算所述合并后的参数更新请求的哈希值;
根据所述合并后的参数更新请求的哈希值,确定所述机器学习模型的更新参数的初始位置;
根据所述合并后的参数更新请求,从所述更新参数的初始位置开始,逐个地更新所述参数更新组的各参数对应的参数位置的模型参数的赋值。
5.如权利要求1至3任一项所述的基于机器学习的任务处理方法,其特征在于,所述参数获取请求包括多个请求获取的模型参数,根据所述有序请求队列中参数获取请求排列的先后顺序,依次获取所述机器学习模型的模型参数,包括:
对于所述有序请求队列中的每个参数获取请求,根据当前时间计算所述参数获取请求的哈希值;
根据所述参数获取请求的哈希值,确定所述机器学习模型的获取参数的初始位置;
根据所述参数获取请求,从所述获取参数的初始位置开始,逐个地从所述请求获取的模型参数对应的参数位置获取模型参数的赋值。
6.如权利要求4所述的基于机器学习的任务处理方法,其特征在于,还包括:
判断所述参数位置的写参数位置与读参数位置是否满足同步条件;所述写参数位置包括用于更新参数的位置,所述读参数位置包括用于获取参数的位置;
当所述写参数位置与所述读参数位置满足所述同步条件时,将所述写参数位置中的模型参数同步到所述读参数位置。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810578498.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种云管平台中文件存储的创建方法和系统
- 下一篇:物联网教育终端、云端及系统





