[发明专利]一种模型评估方法及系统

摘要

本发明提供了一种模型评估方法及系统，所述方法包括：数据分发节点实时获取历史访问记录以构建模型评估样本集；将各样本分发给多个第一级计算节点，第一级计算节点从样本中提取计算预设评估指标所需的元数据，并将元数据分发给多个第二级计算节点，第二级计算节点根据元数据进行分片聚合，将分片聚合值发送至中心计算节点，中心计算节点将各第二级计算节点的分片聚合值进行汇总聚合得到评估值。解决了现有技术中离线评估无法及时监控模型的线上效果，对于线上问题的定位复杂度较高，无法实时评估模型，评估准确度较低的问题，可以根据实时数据对模型进行评估，提高了评估准确度，降低了线上问题的定位复杂度。

主权项

1.一种模型评估方法，其特征在于，应用于模型评估系统，所述系统包括：数据分发节点，与所述数据分发节点关联的至少一个第一级计算节点，与各第一级计算节点关联的至少一个第二级计算节点，与所述各第二级计算节点关联的中心计算节点，所述方法包括：所述数据分发节点实时获取历史访问记录，并从所述历史访问记录中构建模型评估样本集，所述样本集中包括至少一个样本；所述数据分发节点将各样本分发给至少一个所述第一级计算节点，所述第一级计算节点用于从所述样本中提取计算预设评估指标所需的元数据，并将所述样本的元数据分发给至少一个所述第二级计算节点，所述第二级计算节点用于根据各样本的元数据进行分片聚合，计算得到所述评估指标对应的分片聚合值，并将所述分片聚合值发送至所述中心计算节点，所述中心计算节点用于将各第二级计算节点得到的分片聚合值进行汇总聚合，计算得到评估值。