[发明专利]模型训练方法、装置、计算机设备及计算机可读存储介质在审
申请号: | 201910008124.7 | 申请日: | 2019-01-04 |
公开(公告)号: | CN109885378A | 公开(公告)日: | 2019-06-14 |
发明(设计)人: | 吴壮伟 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F9/455 | 分类号: | G06F9/455;G06F16/951;G06F16/955;G06N20/00 |
代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 林燕云 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 子模型 模型训练 数据块 计算机可读存储介质 计算机设备 合成模型 预设方式 语料 计算机硬件资源 并行方式 分子模型 合成训练 训练语料 预设条件 预先设置 多层 预设 申请 并行 | ||
1.一种模型训练方法,其特征在于,所述方法包括:
通过第一预设方式获取训练语料;
将所述语料按照预设条件进行切分以得到多个数据块;
将所述数据块按照预设对应关系分别输入至对应的子模型以训练各个子模型,得到训练后的子模型;
按照第二预设方式合成所述训练后的子模型以得到合成模型。
2.根据权利要求1所述模型训练方法,其特征在于,所述通过第一预设方式获取训练语料的步骤包括:
获取目标对象的初始数据源网站列表;
将所述初始数据源网站列表按照预设条件进行分类以得到不同类型的数据源网站列表;
封装所述数据源网站列表至对应的Docker容器;
启动所述Docker容器以使所述Docker容器通过爬取的方式获取新数据源网站;
将所述新数据源网站添加至对应的数据源网站列表以更新所述目标对象的数据源网站;
基于更新后的所述数据源网站爬取满足预设条件的语料作为训练语料。
3.根据权利要求2所述模型训练方法,其特征在于,基于更新后的所述数据源网站爬取满足预设条件的语料作为训练语料的步骤之后,还包括:
按照所述子模型的输入要求从所述训练语料中以抽取的方式获取所述子模型对应的训练语料。
4.根据权利要求3所述模型训练方法,其特征在于,所述将所述语料按照预设条件进行切分以得到多个数据块的步骤包括:
将所述语料按照数据类型进行分类以得到分类数据;
将所述分类数据按照预设周期的时序顺序进行切分以得到多个数据块。
5.根据权利要求3所述模型训练方法,其特征在于,所述将所述语料按照预设条件进行切分以得到多个数据块的步骤包括:
将所述语料按照数据类型进行分类以得到分类数据;
将所述分类数据按照预设块数或者预设大小进行切分以得到多个数据块。
6.根据权利要求1-5任一项所述的模型训练方法,其特征在于,所述将所述数据块按照预设对应关系分别输入至对应的子模型以训练各个子模型,得到训练后的子模型的步骤之前,还包括:
按照等距离抽样的方式抽取数据块作为训练子模型使用的数据块。
7.根据权利要求1所述模型训练方法,其特征在于,所述按照第二预设方式合成所述训练后的子模型以得到合成模型的步骤包括:
将训练后的多个子模型通过融合模型进行汇总以得到合成模型。
8.一种模型训练装置,其特征在于,包括:
获取单元,用于通过第一预设方式获取训练使用的语料;
切分单元,用于将所述语料按照预设条件进行切分以得到多个数据块;
训练单元,用于将所述数据块按照预设对应关系分别输入至对应的子模型以训练各个子模型,得到训练后的子模型;
合成单元,用于按照第二预设方式合成所述训练后的子模型以得到合成模型。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器以及与所述存储器相连的处理器;所述存储器用于存储计算机程序;所述处理器用于运行所述存储器中存储的计算机程序,以执行如权利要求1-7任一项所述模型训练方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器执行如权利要求1-7中任一项所述模型训练方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910008124.7/1.html,转载请声明来源钻瓜专利网。