[发明专利]用于将来自更复杂模型的知识融入更简单模型中的系统、方法和计算机程序产品

说明书

本发明提供一种用于将来自更复杂模型的知识融入更简单模型中的系统、方法和计算机程序产品。方法可包括获得与第一组特征相关联的第一训练数据以及与不同于所述第一组特征的第二组特征相关联的第二训练数据；基于所述第一训练数据和所述第二训练数据来训练第一模型；以及基于所述第二训练数据而使用损失函数来训练第二模型，所述损失函数取决于所述第一模型的中间层的输出和所述第二模型的输出。

技术领域

本公开总体上涉及将来自更复杂模型的知识融入更简单模型中，并且在一些实施例或方面中，涉及用于训练、提供和/或使用融合来自更复杂模型的知识的预测模型的系统、方法和计算机程序产品。

背景技术

在支付行业中使用的现有风险或欺诈检测模型使用相对较简单的模型，例如逻辑回归、决策树、前馈神经网络和/或其类似者。例如，由数据分析公司FICO开发并通过全球支付数据处理器和发行银行部署的欺诈检测模型使用前馈神经网络，该前馈神经网络提供聚焦于效率、低时延和低存储器占用的相对简单的分析模型架构。

与更复杂模型相比，现有更简单模型可能更容易训练和/或维护。例如，经过训练后，现有更简单模型通常会在运行时间使用更小存储器占用量以及更少的计算资源，这使此类现有更简单模型非常适合部署到可能对时延和计算资源使用率要求更为严格的大量用户。例如，时延和计算资源使用率要求在支付行业中可能尤其严格，在支付行业中，预测模型会影响数百万消费者并用于作出实时决策。

比起更复杂模型，现有更简单模型还可能更容易解释。例如，模型可解释性可用于评定与模型的预测相关联的信任。支付行业中部署的现有风险或欺诈检测模型可能使用融合了多年来采集的领域专家知识的许多手工特征。这些现有风险或欺诈检测模型通常相对容易解释并被用户充分接受。例如，基于来自模型的预测而采取动作可能会成为涉及消费者权利的例如信用评估、风险评估和/或其类似者的金融决策中的倾向，并且模型的可解释性可能会影响模型是否用于此类金融决策。例如，欧盟发布的《通用数据保护条例》(GDPR)中可看到模型可解释性的效应，该条例于2018年5月在欧盟范围内作为法律生效，并创造了“解释权”，由此消费者可要求解释关于消费者的算法决策。

然而，现有更简单模型可能有固有限制。例如，由于对时延和计算资源的更严格要求，现有更简单模型可能不会使用过多特征和/或复杂特征，不论此类特征是否可能是风险或欺诈的良好指标。此外，现有更简单模型的结构具有比更复杂模型更有限的容量，这会减弱现有更简单模型的泛化能力。以此方式，现有更简单模型可能无法捕捉潜在的和更复杂的风险模式，和/或错误地拒绝合法交易，这可能导致收益损失和/或不良的消费者体验。例如，尽管主要数据处理器和发行银行已部署欺诈检测模型，例如欺诈检测模型，以便保护消费者的交易，但因欺诈交易和错误拒绝的交易所致的损失相对较大。例如，平均来说，在支付行业中，每$10,000的被批准交易中可存在$9的欺诈交易和$520的被拒绝交易，而$520的被拒绝交易中的很大部分可能是错误拒绝。

尤其是在其中使用了包括多个层的深度神经网络的计算机视觉和语音辨识领域中，深度学习对广泛多种应用已产生相对大的影响。这些现有深度学习模型可包括数百万个参数并且可使用数十亿个示例进行训练，这可提供现有更简单模型望尘莫及的更大容量和更好的泛化性能。将一组现有模型组合以进行预测的现有集成方法(ensemble method)也可产生具有相对更强泛化能力的更复杂现有模型。

然而，虽具有相对更强泛化性能，但现有更复杂模型并不十分适合用于对时延和计算资源使用率有更严格要求的应用。例如，现有更复杂模型可能无法实时生成决策。例如，Netflix因将公司的推荐引擎准确率增大10％的集成模型而在2009年奖励开发人员团队100万美元的奖金，但Netflix的工程博客在2012年披露，Netflix从未在生产系统中部署过优胜的集成模型，因为优胜的改进所提供的准确率增大“似乎未能证明有必要付出工程努力来将改进引入生产环境”。