[发明专利]一种模型特征分析方法、装置、设备及介质有效
| 申请号: | 201911205505.0 | 申请日: | 2019-11-29 |
| 公开(公告)号: | CN110909005B | 公开(公告)日: | 2023-03-28 |
| 发明(设计)人: | 陈华峰 | 申请(专利权)人: | 广州市百果园信息技术有限公司 |
| 主分类号: | G06F16/22 | 分类号: | G06F16/22 |
| 代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
| 地址: | 511400 广东省广州市番*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 模型 特征 分析 方法 装置 设备 介质 | ||
本发明公开了一种模型特征分析方法、装置、设备及介质,涉及计算机技术领域,该模型特征分析方法包括:获取日志中的样本信息,所述日志为在目标模型在线预测时生成的;对所述样本信息中的目标特征进行扰动,得到特征扰动信息;依据所述特征扰动信息确定所述样本信息对应的排序变化信息;依据所述排序变化信息,确定所述目标特征的重要性分析结果。本发明提高分析结果的准确性,能够有效帮助特征筛选,并可有效控制模型规模,从而有效地减轻了在线存储、计算的压力。
技术领域
本发明涉及计算机技术领域,尤其涉及一种模型特征分析方法、装置、设备及介质。
背景技术
随着计算机技术的快速发展,深度排序模型越来越普及。与逻辑回归、决策树等模型相比,深度排序模型更加“黑盒”,更不具有解析性,也更难分析该深度排序模型中不同特征的重要性,因此难以通过筛选特征来控制深度排序模型规模,导致模型在线存储、计算压力大。如何分析深度排序模型中各个特征的重要性已成为很多研究者致力研究的热点。
现有分析深度排序模的重要性型的方法通常采用以下两种:一种是消融试验(Ablation Test)方法,即每次去掉深度排序模型中的一个特征,然后查看模型表现的变化情况,以根据该模型表现的变化情况确定去掉的模型特征;另一种是置换检验(Permutation Test)方法,即随机修改深度排序模型中某些特征在测试集中的取值,然后查看模型表现的变化情况,以确定修改这些特征的重要性。
但是,上述这两种做法与实际排序时的情况有些不同,如在实际排序时,如果想知道模型中某个特征与模型输出的结果是否正相关,则需要按照从小到大的顺序或者从大到小的顺序来修改该特征的值,以查看模型输出结果的变化情况;如果想确定某个特征的变化会对最后模型计算得到的排序分产生多大的影响,则需要在修改该特征的特征值后查看模型输出的排序分变化情况,而不是简单地去掉一个特征就可以确定的。另外,随机改变某个特征的值缺少了一个统一的度量标准,不利于分析,影响分析结果的准确性,不利于模型特征的筛选的,导致模型规模比较大,增加模型在线存储、计算的压力。
发明内容
有鉴于此,本发明实施例提供一种模型特征分析方法、装置、设备及介质,以日志中的样本集合为计算对象进行分析,确保分析是基于实际预测的集合的数据分布,提高分析结果的准确性,从而解决现有技术中模型规模大导致模型在线存储、计算压力大的问题。
第一方面,本发明实施例提供了一种模型特征分析方法,包括:
获取日志中的样本信息,所述日志为在目标模型在线预测时生成的;
对所述样本信息中的目标特征进行扰动,得到特征扰动信息;
依据所述特征扰动信息确定所述样本信息对应的排序变化信息;
依据所述排序变化信息,确定所述目标特征的重要性分析结果。
第二方面,本发明实施例还提供了一种模型特征分析装置,包括:
样本获取模块,用于获取日志中的样本信息,所述日志为在目标模型在线预测时生成的;
特征扰动模块,用于对所述样本信息中的目标特征进行扰动,得到特征扰动信息;
排序变化确定模块,用于依据所述特征扰动信息确定所述样本信息对应的排序变化信息;
重要性分析模块,用于依据所述排序变化信息,确定所述目标特征的重要性分析结果。
第三方面,本发明实施例还提供了一种设备,包括:处理器和存储器;所述存储器中存储有至少一条指令,所述指令由所述处理器执行,使得所述设备执行如第一方面所述的模型特征分析方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述存储介质中的指令由设备的处理器执行时,使得设备能够执行如第一方面所述的模型特征分析方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州市百果园信息技术有限公司,未经广州市百果园信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911205505.0/2.html,转载请声明来源钻瓜专利网。





