[发明专利]数据处理系统、资源调度方法及装置在审
申请号: | 202110377602.9 | 申请日: | 2021-04-08 |
公开(公告)号: | CN115203813A | 公开(公告)日: | 2022-10-18 |
发明(设计)人: | 严超华;鞠林;粘为博;王兵;卿泉;王刚 | 申请(专利权)人: | 淘宝(中国)软件有限公司 |
主分类号: | G06F30/15 | 分类号: | G06F30/15;G06F30/27;G06Q10/04;G06Q10/06;G06Q50/30;G06K9/62 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 李晓庆 |
地址: | 311121 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理系统 资源 调度 方法 装置 | ||
1.一种数据处理系统,包括:
数据采集模块,被配置为接收包含目标对象的初始图像,并基于所述初始图像构建模型训练集以及模型测试集;
模型处理模块,被配置为基于所述模型训练集对目标模型进行训练,基于所述模型测试集对所述目标模型进行测试,并基于测试结果对所述目标模型进行更新;
数据处理模块,被配置为基于更新后的目标模型对所述初始图像进行分析获得候选图像,并通过预设规则获取包含目标对象的目标图像,将所述候选图像以及所述目标图像作为所述初始图像输入所述数据采集模块。
2.根据权利要求1所述的数据处理系统,所述数据采集模块,进一步被配置为:
对所述初始图像进行预处理,以获得所述初始图像中的第一图像以及所述第一图像对应的图像标签;
基于所述第一图像以及所述第一图像的图像标签构建模型训练集以及模型测试集。
3.根据权利要求2所述的数据处理系统,所述数据采集模块,进一步被配置为:
对所述初始图像进行二维和三维的目标对象检测、语义分割、融合跟踪,以获得所述初始图像中的第一图像以及所述第一图像对应的图像标签。
4.根据权利要求3所述的数据处理系统,所述模型处理模块包括模型训练模块、模型测试模块和模型更新模块,其中,
所述模型训练模块,被配置为基于所述模型训练集对目标模型进行训练,以获得训练后的所述目标模型,并将所述目标模型发送至所述模型测试模块;
所述模型测试模块,被配置为基于所述模型测试集对所述目标模型进行测试,以获得所述目标模型的测试结果,并将所述测试结果发送至所述模型更新模块;
所述模型更新模块,被配置为在所述测试结果小于等于预设结果阈值的情况下,基于所述测试结果对所述目标模型进行更新。
5.根据权利要求4所述的数据处理系统,所述模型训练集包括第一子图像以及所述第一子图像对应的图像标签;
相应的,所述模型训练模块,进一步被配置为:
基于所述第一子图像以及所述第一子图像对应的图像标签对目标模型进行训练,以获得训练后的所述目标模型,并将所述目标模型发送至所述模型测试模块。
6.根据权利要求5所述的数据处理系统,所述模型测试集包括第二子图像以及所述第二子图像对应的真实图像标签,所述第一子图像和所述第二子图像组成所述第一图像;
相应的,所述模型测试模块,进一步被配置为:
将所述第二子图像输入所述目标模型,获得所述第二子图像对应的预测图像标签;
将所述预测图像标签与所述真实图像标签进行比对,获得所述目标模型的测试结果,并将所述测试结果发送至所述模型更新模块。
7.根据权利要求4所述的数据处理系统,所述模型更新模块,进一步被配置为:
在所述测试结果小于等于预设结果阈值的情况下,基于所述测试结果通过调整所述目标模型的网络参数、网络结构和/或对所述目标模型压缩量化对所述目标模型进行更新;以及
在所述测试结果大于所述预设结果阈值的情况下,输出所述目标模型。
8.根据权利要求2所述的数据处理系统,所述数据处理模块,进一步被配置为:
基于更新后的目标模型对所述初始图像中的第二图像进行分析获得候选图像,
通过预设规则获取包含目标对象的目标图像,将所述候选图像以及所述目标图像作为所述初始图像输入所述数据采集模块,
其中,所述第一图像和所述第二图像组成所述初始图像。
9.一种资源调度方法,包括:
接收用户的模型训练请求,其中,所述模型训练请求中携带有所述用户的用户标识;
基于所述用户标识确定所述用户对应的资源分组,并从所述资源分组对应的资源池中为所述用户分配对应的计算资源;
基于所述计算资源通过所述数据处理系统执行所述用户的模型训练请求,其中,所述数据处理系统包括权利要求1-8任意一项所述数据处理系统。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于淘宝(中国)软件有限公司,未经淘宝(中国)软件有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110377602.9/1.html,转载请声明来源钻瓜专利网。