[发明专利]监控模型的方法、装置、电子设备和介质

说明书

本发明涉及计算机信息处理领域，针对现有模型出现不稳定、在网络数据处理中不能准确预测，产生较大波动的情形，提出了本发明的监控模型的方法、装置、电子设备和介质，通过对波动过大的模型的定向的特征分析确定指标的变化，精确监控对模型影响较大的特征以确定影响模型波动的原因并控制模型进行相应的调整。以解决提供更精准确定模型波动的影响因素的问题进而能基于这些精准因素进行准确监控更新、无需模型重新训练，高效率、精确实现模型归因和模型更新，有效提升监控性能。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种监控模型的方法、装置、电子设备和计算机可读存储介质。

背景技术

随着人工智能的分支和实现，机器学习被广泛应用于视觉处理、语音识别、自然语言处理、数据挖掘、风险控制等领域。机器学习根据样本数据训练模型，再用模型对数据进行预测与决策。尤其结合大数据和云处理，通过网络线上部署基于机器学习的模型实现各种应用场景的数据处理、控制、传输(例如：语音识别、图像识别、数据安全、数据订阅、交互访问)等等，也越来越广泛。

由于模型是以特定时期的样本数据所开发的，随着时间的推移，线上模型测试的人群(测试样本)可能会发生变化，比如开发人群(开发样本)是工作白领人群，而之后模型主要应用于测试学生人群。由于不同人群样本会存在分布差异，导致稳定性差的模型就不能对新人群进行很好的区分，需要通过采集新的人群样本数据重新训练模型以更新模型。但该新的人群样本数据采集、清洗、打标签再训练的过程耗时耗力、效率低下。

因而，改进对线上部署的模型的稳定性的监控处理，以更高效率、更准确、更及时地控制对模型的调整。

发明内容

针对现有技术的上述缺陷，本发明提供一种监控模型的方法、装置、电子设备及计算机可读存储介质，可以解决如何随着存在分布差异的新样本来及时高效率地更新模型的技术问题；进一步，可以解决如何在更新模型时精确定位模型需要调整的因素以准确确定根据新样本实现模型更新维护其稳定性技术问题，从而提升模型稳定性调整的监控性能、保证更新的准确、及时和高效率。

为了解决上述技术问题，本发明第一方面提出一种监控模型的方法，包括：根据接收的波动信息，获取被监控的模型的当前样本中各个特征的定向贡献值；将所述定向贡献值转换为定向权重偏移量，以控制对所述模型的更新。

根据本发明的一种优选实施方式，通过发现所述波动信息对应的类型给予的提示，接收所述波动信息；其中，所述波动信息为表示由于样本存在分布差异导致的波动指标变化；所述定向贡献值包括：特征是导致所述模型在使用时变大的正向的贡献值，或者，特征是导致所述模型在使用时结果变小的负向的贡献值。

根据本发明的一种优选实施方式，所述模型在使用时变大表示所述模型计算当日样本的结果比计算前一日样本的结果大；所述模型在使用时变小表示所述模型计算当日样本的结果比计算前一日样本的结果小。其中，当日样本与前一日样本是不同的样本；

根据本发明的一种优选实施方式，根据接收的波动信息，获取被监控的模型的当前样本中各个特征的定向贡献值，具体包括：当所述波动信息表示的波动指标变化为：波动指标超过预先设定的阈值时，确定被监控的所述模型的出现不稳定状态；基于所述不稳定状态，获取导致所述模型计算结果变大时的当前样本每个特征所对应的正向贡献值；或者，基于所述不稳定状态，获取导致所述模型计算结果变小时的当前样本每个特征所对应的负向的贡献值。

根据本发明的一种优选实施方式，将所述定向贡献值转换为定向权重偏移量，具体包括：将正向的贡献值按照指定规则进行排序得到对应的各个特征的正向组实际排序值，和/或，将负向的贡献值按照同样的指定规则进行排序得到对应的各个特征的负向组实际排序值；通过所述模型中各个特征对应的基准贡献值以按照同样的指定规则进行排序，得到对应的各个特征的基准排序值；根据所述正向组实际排序值和/或负向组实际排序值，结合所述基准排序值，计算正向权重偏移量和/或负向权重偏移量。