[发明专利]风控模型的监控方法及装置

说明书

本发明公开了一种风控模型的监控方法及装置。其中，该方法包括：根据风控模型的配置文件确定风控模型的产出数据，其中，产出数据包括需要监控的多个模型指标；调用多个监控模块对产出数据中的多个模型指标进行监控，其中，监控模块用于监控对应的模型指标。本发明解决了相关技术中线上风控模型上线后，缺乏对模型的实时监控的技术问题。

技术领域

本发明涉及近场通信领域，具体而言，涉及一种风控模型的监控方法及装置。

背景技术

通常风控模型上线后，开发人员和业务使用方很难监测模型性能的衰退，缺乏对模型性能和业务性能的实时监控，也很难确定模型迭代的周期。目前，模型上线后的监控方案主要是简单从模型的性能上做监控，缺乏对业务指标的监控和特征的监控。评价标准相对单一，不能够全面地监控模型各方面的表现，也不能反映模型性能变化的趋势性，缺乏预警机制。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种风控模型的监控方法及装置，以至少解决相关技术中线上风控模型上线后，缺乏对模型的实时监控的技术问题。

根据本发明实施例的一个方面，提供了一种风控模型的监控方法，包括：根据风控模型的配置文件确定所述风控模型的产出数据，其中，所述产出数据包括需要监控的多个模型指标；调用多个监控模块对所述产出数据中的多个所述模型指标进行监控，其中，所述监控模块用于监控对应的模型指标。

可选的，多个所述模型指标包括所述风控模型的基础性能参数，业务参数，用户特征；调用多个监控模块对所述产出数据中的多个所述模型指标进行监控，其中，所述监控模块用于监控对应的模型指标包括：调用性能监控模块监控所述基础性能参数，所述基础性能参数包括下列至少之一：AUC指数，KS指数，PSI指数；调用业务监控模块监控所述业务参数，所述业务参数包括目标业务的用户数量参数和金额参数；调用特征监控模块监控所述用户特征，所述用户特征包括总用户特征和坏用户特征，其中，所述坏用户为风险超过第一预设风险阈值的用户。

可选的，所述用户数量参数包括：所述风控模型用户的总数量，好用户的数量，坏用户的数量，所述好用户的通过率，坏用户的拦截率，其中，所述好用户为风险低于第二预设风险阈值的用户；所述金额参数包括：总借贷金额，违约金额，违约人数，金额逾期率，余额逾期率。

可选的，调用性能监控模块监控所述基础性能参数包括：确定所述基础性能参数的计算值与预设值的偏移量；在所述偏移量超过预设偏移量的情况下，确定所述基础性能参数异常；在所述偏移量未超过预设偏移量的情况下，确定所述基础性能参数正常；在确定所述基础性能参数异常的情况下，输出异常的所述基础性能参数的属性和发生异常的时间，所述属性包括下列至少之一：名称，标识。

可选的，调用业务监控模块监控所述业务参数包括：实时监控并记录所述业务参数。

可选的，调用特征监控模块监控所述用户特征包括：确定所述用户特征和所述用户特征的变化参数，其中，所述变化参数用于体现所述用户特征的变化情况；在所述用户特征超出预设数量阈值或者所述变化参数超出预设变化阈值的情况下，确定所述用户特征异常；在所述用户特征未超出预设数量阈值且所述变化参数未超出预设变化阈值的情况下，确定所述用户特征正常；在确定所述用户特征异常的情况下，输出所述用户特征，所述用户特征的变化参数，和发生异常的时间。

可选的，调用多个监控模块对所述产出数据中的多个所述模型指标进行监控之后，还包括：按照预设频率生成监控日志，所述监控日志包括监控的所有模型指标；将所述监控日志存储在预设的数据库中。

根据本发明实施例的另一方面，还提供了一种风控模型的监控装置，包括：确定模块，用于根据风控模型的配置文件确定所述风控模型的产出数据，其中，所述产出数据包括需要监控的多个模型指标；监控模块，用于调用多个监控模块对所述产出数据中的多个所述模型指标进行监控，其中，所述监控模块用于监控对应的模型指标。