[发明专利]一种基于CIM模型建立电网大数据仓库的方法

说明书

提供了一种基于CIM模型建立电网大数据仓库的方法，包括基于多个现有电网业务系统的数据库表结构、ECIM模型重新构造CIM模型；以所述重新构造的CIM模型为标准将所述多个现有电网业务系统以及所述ECIM中的数据进行格式转换并存储以建立电网大数据仓库，减少了电网大数据仓库创建过程中的人为干预，当存在多种数据库类型，仍然能够更加高效稳定地实现大数据仓库的创建，特别是基于CIM模型实现自动创建大数据仓库，并且在创建过程中应用本专利的相关度量及属性及关系度量算法使得实体合并更加准确高效，同时将对于数据的处理，将数据清洗与合并采用不同周期处理方式，避免了可能存在的大数据仓库的访问冲突。

技术领域

本发明涉及计算机技术，特别涉及数据库技术，尤其涉及一种基于CIM模型建立电网大数据仓库的方法。

背景技术

公共信息模型(CIM)是一个抽象模型，描述电力企业的所有主要对象，特别是与电力运行有关的对象。通过提供一种用对象类和属性及他们之间关系来表示电力系统资源的标准方法，CIM方便了实现不同卖方独立开发的能量管理系统(EMS)应用的集成，多个独立开发的完整EMS系统之间的集成，以及EMS系统和其它涉及电力系统运行的不同方面的系统，例如发电或配电系统之间的集成。这是通过定义一种基于CIM的公共语言(即语法和语义)，使得这些应用或系统能够不依赖于信息的内部表示而访问公共数据和交换信息来实现的。

随着电网企业业务的不断发展，例如企业合并整合过程中，现有的CIM模型包括经扩展的ECIM模型目前已经无法完全满足企业实际业务运作现状，随着企业电网云计算、大数据平台的软硬件安装部署，平台已开始运作，开展大数据仓库建模实施变得尤为重要，大数据仓库建模需以统一的信息模型为基础，因此需要对原有ECIM模型和现有的系统、业务进行统一的梳理、分析和比对，并对现有系统、业务与ECIM的差异部分进行扩展完善，同时充分考虑未来业务发展需要及跨领域需求，逐步细化完善业务模型，形成适合电网公司企业发展需求的重新构造的CIM模型，有效支撑大数据仓库建模实施以及大数据应用，充分发挥公司数据价值，本发明中将CIM模型称为标准CIM模型，以区别于ECIM和重新构造的CIM模型。

在创建电网大数据仓库的过程中，由于行业特殊性，很多问题需要解决，例如，现有的电网业务数据库均是独立开发，数据库类型不尽相同，甚至实体表示和描述也不相同，在整合过程中需要大量人力制作映射关系，耗时费力，另外在创建电网大数据仓库之前，已经存在经扩展的CIM，即ECIM，但是由于业务合并等使得现有的ECIM并不能完全满足当前需求。另外，现有技术中的数据清洗工作往往与数据的最终合并工作同时进行或相继进行，虽然做到了同步，但是集中占用大数据仓库的资源，导致对大数据仓库的访问操作经常出现延时。总之，现有的电网公司各个业务系统需要整合，通过大数据仓库实现资源统一，并且现有的大数据仓库创建过程中不能做到全程自动处理，需要更多人为干预，同时数据清洗与大数据仓库的访问往往存在冲突。

针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。因此，本发明提出了一种基于CIM模型建立电网大数据仓库的方法，毋庸置疑，本发明的基于CIM模型建立电网大数据仓库的方法经过适当的修改同样适于建立其他大数据仓库。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于CIM模型建立电网大数据仓库的方法，通过本发明减少电网大数据仓库创建过程中的人为干预，当存在多种数据库类型，甚至存在ECIM的情形下，仍然能够更加高效稳定地实现大数据仓库的创建，特别是基于CIM模型实现自动创建大数据仓库，并且在创建过程中应用本专利的相关度量及属性及关系度量算法使得实体合并更加准确高效，同时将对于数据的处理，将数据清洗与合并采用不同周期处理方式，避免了可能存在的大数据仓库的访问冲突，增加用户体验。