[发明专利]特征处理流程的建立方法、装置、存储介质及电子设备有效
申请号: | 201811534267.3 | 申请日: | 2018-12-14 |
公开(公告)号: | CN109784495B | 公开(公告)日: | 2021-05-04 |
发明(设计)人: | 侯广健;张庚昕 | 申请(专利权)人: | 东软集团股份有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;G06F16/2455 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 曾尧;魏嘉熹 |
地址: | 110179 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 特征 处理 流程 建立 方法 装置 存储 介质 电子设备 | ||
本公开涉及一种特征处理流程的建立方法、装置、存储介质及电子设备,所述方法包括:根据预置的特征处理算法的数量,获取第一超参数集合和第二超参数集合;在特征处理算法的搜索空间中,对第一超参数集合和第二超参数集合进行调优搜索,以获得第一超参数集合中每一第一超参数的取值和第二超参数集合中每一第二超参数的取值;根据每一第一超参数的取值对应的特征处理算法和特征处理算法的数据来源,建立特征处理流程,其中,第一超参数集合中各个第一超参数之间的顺序表明对应的特征处理算法的执行顺序。通过本公开的技术方案,可以实现特征处理流程的自动化建立,能够更好地适应实际训练数据的特点,从而提高机器学习模型的训练效果。
技术领域
本公开涉及机器学习领域,具体地,涉及一种特征处理流程的建立方法、装置、存储介质及电子设备。
背景技术
机器学习通常包括数据预处理、特征处理、模型训练、模型融合、模型选择、模型部署应用等过程,其中,特征处理过程直接决定最终的模型效果,而这一过程十分复杂,通常又涉及到PCA(Principal Component Analysis,主成分分析)、Fast_ICA(IndependentComponent Analysis,独立成分分析)、多项式转换、目标编码、Truncated SVD(SingularValue Decomposition,奇异值分解)等诸多算法。
现有技术中的特征处理过程,通常是按照一固定的线性处理流程进行。然而,这种固定的线性处理流程不能较好地适应不同任务、不同训练数据的特点。
发明内容
为了克服现有技术中存在的问题,本公开提供一种特征处理流程的建立方法、装置、存储介质及电子设备。
为了实现上述目的,本公开第一方面提供一种特征处理流程的建立方法,包括:
根据预置的特征处理算法的数量,获取第一超参数集合和第二超参数集合,所述第一超参数集合中的第一超参数与所述第二超参数集合中的第二超参数一一对应,每一所述第一超参数的取值集合中的每一取值对应一特征处理算法,每一所述第二超参数的取值集合中的每一取值表明该第二超参数对应的第一超参数的取值表征的特征处理算法的数据来源;
在所述特征处理算法的搜索空间中,对所述第一超参数集合和所述第二超参数集合进行调优搜索,以获得所述第一超参数集合中每一所述第一超参数的取值和所述第二超参数集合中每一所述第二超参数的取值;
根据每一所述第一超参数的取值对应的特征处理算法和所述特征处理算法的数据来源,建立特征处理流程,其中,所述第一超参数集合中各个所述第一超参数之间的顺序表明对应的特征处理算法的执行顺序。
可选地,所述第一超参数集合中的第一超参数的数量与所述特征处理算法的数量相同,且各个所述第一超参数的取值集合按照各个所述第一超参数之间的顺序依次递减。
可选地,所述第二超参数集合中的第二超参数的数量与所述特征处理算法的数量相同,且各个所述第二超参数的取值集合相同。
可选地,在对所述第一超参数集合和所述第二超参数集合进行调优搜索时,针对每一个第一超参数,若该第一超参数的取值为零,则确定位于该第一超参数之后的第一超参数的取值为无效值;
若该第一超参数的取值大于零,则重新建立该下一第一超参数的每一取值与除该第一超参数的取值对应的特征处理算法以外的其他特征处理算法之间的对应关系,该对应关系用于确定该下一第一超参数的取值对应的特征处理算法;
针对每一个第二超参数,若与该第二超参数对应的第一超参数的取值为零,则确定该第二超参数的取值为无效值。
可选地,在所述特征处理算法的搜索空间中,对所述第一超参数集合和所述第二超参数集合进行调优搜索之前,所述方法还包括:
根据所述特征处理算法,获取多个特征处理算法组合;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司,未经东软集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811534267.3/2.html,转载请声明来源钻瓜专利网。