[发明专利]一种基于CPU-GPU异构平台的营配贯通数据监控方法和装置

说明书

本发明提供了一种基于CPU‑GPU异构平台的营配贯通数据监控方法和装置，该方法包括将原始数据采集到云计算平台；所述云计算平台包括数据预处理模块和大数据分析模块，其中数据预处理模块采用CPU集群实现数据整合转换、数据清洗转换和数据脱敏，大数据分析模块采用GPU集群实现基于数据并行和模型并行的人工智能大数据算法；主题表中的数据生成API通过数据服务发布到API网关实现数据开放共享服务；可视化显示模块采用图表结合的方式对营配贯通数据进行展示分析。本发明解决了电力领域海量数据计算运行效率低的问题，实现了数据之间的关联贯通，有效的减少了数据查询范围，提升了访问性能，并有效的降低了大数据计算的时间成本。

技术领域

本发明涉及大数据处理技术领域，特别是一种基于营配贯通数据可视化平台的数据处理方法、装置及介质。

背景技术

随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。《著云台》的分析师团队认为，大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

在电力体制改革不断推进的背景下，如何推进数字化改革，研发应用电力大数据产品以提高传统电网的安全生产、经营管理和客户服务水平，如何打破信息孤岛，实现营配数据的互联互通以及如何提供经济有效的提高营配数据分析处理、存储和计算能力成为当前电力系统亟需解决的问题。

发明内容

本发明针对上述现有技术中的缺陷，提出了如下技术方案：

一种基于CPU-GPU异构平台的营配贯通数据监控方法，其特征在于：

S1:将供电服务指挥系统、设备资产运维精益管理系统、SG186系统、用电采集系统、同源系统的原始数据采集到云计算平台上；

S2：所述云计算平台包括数据预处理模块和大数据分析模块，其中数据预处理模块采用CPU集群实现数据整合转换、数据清洗转换和数据脱敏，大数据分析模块采用GPU集群实现基于数据并行和模型并行的人工智能大数据算法；业务数据层用于接收所述原始数据生成业务数据；所述操作数据层用于将所述业务数据同步到操作数据层的数据引入层表中；通过增量抽取方式使同步到所述操作数据层的原始数据与所述业务数据保持一致，所述明细数据层用于对所述原始数据过滤，并从中抽取出重要数据；所述数据汇总层用于对所述业务数据进行轻度汇总，通过汇总收缩所述明细数据的体积；数据集市层用于接收所述数据汇总层的数据进行关联贯通后生成主题表；

S3：将所述主题表中的数据生成API通过数据服务发布到API网关实现数据开放共享服务；

S4：可视化显示模块采用图表结合的方式对营配贯通数据进行展示分析；

其中，所述监控方法用于通过多层分类异常检测算法获取监控异常数据，所述多层分类异常检测算法采用随机森林构建初级分类器，用于对所述营配贯通数据进行初步判断；采用K-means构建次级分类器，对所述初级分类器分错的样本进行进一步强化训练；采用逻辑回归模型作为最终决策器，逻辑回归损失函数的表达式为

x表示给定输入样本，y表示类别标签，h(x)表示对应标签y＝1样本为异常值时的概率。

更进一步地，所述主体表采用多级分区方式存储所述配贯通数据，使用设备ID作为一级分区，采集日期作为二级分区。

更进一步地，所述可视化显示模块采用QuickBI和Tableau组件实现。

更进一步地，所述数据并行为K-means或SVM或KNN，所述模型并行为DBN或CNN或GAN。