[发明专利]电力大数据模型的评价指标体系与构建方法

说明书

本申请提供了一种电力大数据模型的评价指标体系与构建方法。该评价指标体系包括多个一级评价维度，一部分一级评价维度下包括多个二级评价标签，各二级评价标签下包括多个三级评价因子，另一部分一级评价维度下包括多个三级评价因子。采用本方案建立的评价指标体系选取典型的菜单式指标体系架构，共有三层指标，评价指标体系评价因素比较丰富，采用本方案的评价指标体系对现有的电力大数据模型进行评价，更能准确地评价电力大数据模型的优劣。

技术领域

本申请涉及电力大数据领域，具体而言，涉及一种电力大数据模型的评价指标体系、评价指标体系的构建方法、构建装置、计算机可读存储介质与处理器。

背景技术

近些年，随着国家经济及互联网的快速发展，电力公司业务不断延伸，数据持续增加。公司业务部门以数据为基础，结合电网业务特点，积累了一系列电力大数据分析模型；而模型的优劣直接影响着工作质量及效率，优质模型能够提高公司效益，反之，无效模型将给公司发展带来负面效应。因此，构建一套电力大数据模型评价指标体系用于辅助公司合理、正确的评价及运用模型是非常有意义的。

目前典型通用的大数据分析模型的评价指标主要是围绕模型的准确性来设计的，如分类模型评价指标AUC；另外，2018年，国网公司根据模型准确性评价指标，结合电力特点，发布了一套电网大数据分析模型评价准则，完善了模型评价指标体系。

在上述两种方法中，前者从准确性方面对模型进行评价，考虑因素单一；后者综合评价指标(或者指标权重)计算是通过专家经验法来实现的，主观性强，缺乏客观评判。

发明内容

本申请的主要目的在于提供一种电力大数据模型的评价指标体系、评价指标体系的构建方法、构建装置、计算机可读存储介质与处理器，以解决现有技术中电力大数据模型的评价指标体系评价因素比较单一的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种电力大数据模型的评价指标体系，包括多个一级评价维度，一部分所述一级评价维度下包括多个二级评价标签，各所述二级评价标签下包括多个三级评价因子，另一部分所述一级评价维度下包括多个所述三级评价因子。

进一步地，所述一级评价维度包括模型数据、模型性能和模型适用性，所述模型数据包括数据源标准性、数据合规性和数据集成自动性，所述模型性能包括模型精准性、模型运行能力和模型泛化能力，所述模型适用性包括数据匹配度、目标完成度和适用广泛性。

进一步地，所述数据源标准性包括数据范围符合度和数据类型符合度，所述数据合规性包括数据源合法性和数据源安全性，所述数据集成自动性包括文件数据集成度和数据库数据集成度，所述模型精准性包括AUC、准确率、CH指数、调整兰德系数、校正决定系数、排序收益和排序精度，模型运行能力包括模型运行用时、磁盘占用率、CPU占用率和内存占用率，模型泛化能力包括时间泛化差值率、区域泛化差值率和数据规模泛化差值率。

进一步地，用所述AUC和所述准确率评价分类模型，用所述CH指数和所述调整兰德系数评价聚类模型，用所述校正决定系数和所述调整兰德系数评价回归模型，用所述排序收益和排序精度评价排序模型。

根据本申请的另一个方面，提供了一种评价指标体系的构建方法，包括：获取电力数据的原始数据集；将所述原始数据集划分为多个子数据集；将一部分所述子数据集输入至熵权法基学习器中进行运算，得到第一权重分配结果；将另一部分所述子数据集输入至德尔菲法基学习器中进行运算，得到第二权重分配结果；将所述第一权重分配结果和所述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果，所述最终权重分配结果为所述三级评价因子的权重。

进一步地，在将所述第一权重分配结果和所述第二权重分配结果输入至元学习器中进行运算，得到最终权重分配结果之后，所述方法还包括：根据所述三级评价因子的权重确定所述二级评价标签的权重和另一部分所述一级评价维度的权重；根据所述二级评价标签的权重确定一部分所述一级评价维度的权重。