[发明专利]基于数据融合和数据挖掘的数据仓库及其应用方法

说明书

技术领域

本发明涉及一种数据仓库，具体地说，是涉及一种基于数据融合和数据挖掘的数据仓库及其应用方法。

背景技术

随着电力工业的飞速发展和计算机技术在电力系统中的普及，调度自动化、能量管理系统(EMS)及地理信息管理系统(GIS)等已在电网中得到了愈来愈广泛的应用。电网规模的不断扩大使得如何对海量、时变及移动数据进行综合处理，以及对采集到的数据进行数据融合和数据挖掘成为电力系统中关注的焦点。由于电力系统自动化管理系统功能的不断完善和计算机网络技术和分布式结构的应用，使得待处理的数据信息量大大增加，人们对数据信息的可靠性、一致性和共享性提出了更高的要求，如何更好的利用和管理这些日益庞大的同构和异构数据库，并挖掘出数据之间的潜在联系，帮助企业更好的分析和决策，已成为电力公司日益迫切需要解决的问题。因此，如何对数据进行有效收集、存储与提取是数据仓库技术的研究重点和难点。

发明内容

本发明的目的在于提供一种基于数据融合和数据挖掘的数据仓库及其应用方法，主要解决现有技术中存在的数据仓库不能满足用户对海量数据信息存储与提取的可靠性、一致性和共享性的要求的问题。

为了实现上述目的，本发明采用的技术方案如下：

基于数据融合和数据挖掘的数据仓库，包括：

数据抽取层：抽取联机事务处理系统、外部数据源及脱机的数据存储介质中的数据，并将抽取的数据导入数据存储层；

数据存储层：包括对面向主题的、集成的、当前或接近当前的、不断变化的数据进行存储的ODS，对企业级数据进行存储的EDW，以及数据集市；

数据访问层：以报表、图形或者数据分析的方式对数据存储层中的数据进行访问，并进行分析预测。

具体地说，所述数据抽取层通过互联、复制、增量、转换、调度和监控的方式对数据进行抽取。

进一步地，所述数据存储层中，ODS将抽取后的数据进行短期存储；EDW将抽取后的数据进行长期存储；数据集市按照用户需求将数据组织后进行存储。

本发明中，公开了一种上述基于数据融合和数据挖掘的数据仓库的应用方法，包括以下步骤：

（1）数据抽取层对联机事务处理系统、外部数据源及脱机的数据存储介质中的数据进行浏览和预处理，并对预处理后的数据进行抽取和合并处理；

（2）数据存储层通过关联分析、序列模式分析、分类分析和聚类分析将数据抽取层中的数据进行分析组合及挖掘，并将挖掘的数据分类存储于ODS、EDW或数据集市中；

（3）用户在数据访问层输入数据访问请求，数据访问层根据用户输入的访问请求的类型确定从ODS、EDW或数据集市中提取相应数据进行显示。

进一步的，所述步骤（1）中，采用多源数据融合技术对抽取的数据进行筛选合并；所述步骤（1）中，预处理包括数据清理、数据集成、数据变换和数据归约。

与现有技术相比，本发明具有以下有益效果：

（1）本发明利用数据融合和数据挖掘的特性进行数据采集、预处理和访问，实现了对海量数据稳定、可靠、便捷的存储和提取，十分适用，符合实际需求，适合大规模推广应用。

附图说明

图1为本发明的结构示意图。

图2为本发明中数据挖掘的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

实施例

如图1所示，本发明主要包括数据抽取层、数据存储层和数据访问层。

数据抽取层：通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入数据仓库，数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面的处理，过程包括源数据分析与映射、数据抽取、转换和加载、数据审计；

数据存储层：该层是整个系统的核心，包含ODS、EDW和数据集市3层。其中，ODS存放经过轻度清洗，与生产系统基本保持数据细节的一致性的数据，数据存储周期较短；EDW 存放经过整理的，以客户为中心的企业数据，数据存放周期较长，从ODS 向EDW 转换的过程中，首先要做到客户归属，之后完成客户关系的归属；数据集市是针对某些主题的业务进行问题分析，按照主题对数据做进一步组织，在EDW 基础上根据分析需求创建相应的从属数据集合， 一般采取数据模型存储数据；