[发明专利]一种城市轨道交通工程的多源异构数据集成处理方法

说明书

本发明涉及一种城市轨道交通工程的多源异构数据集成处理方法，创建数据源并将数据进行分类并存储至各源端数据库；根据各源端数据库创建元数据库；将异构数据源的数据抽取到过渡性数据库；在规则和元数据库的约束下对过渡性数据库进行数据转换；对转换后的数据进行数据集成和融合，实现数据模型和数据格式的统一；基于元数据库，其内部的元数据管理器定义目标数据模型结构，得到定义数据关联规则和目标映射关系；根据定义数据关联规则和目标映射关系，将已经集成和融合成功的数据从数据过渡区加载到数据仓库物理存储区域；将数据仓库物理存储区域的数据进行渲染并发布到相应的WebGIS服务器上，在指定系统中进行系统配置和服务的多源异构数据集成显示。

技术领域

本发明涉及建筑信息化领域，更具体地，涉及一种城市轨道交通工程的多源异构数据集成处理方法。

背景技术

多源异构数据集成是整合来自多个数据源的数据，减少数据之间类型和结构上的差异，解决多源异构数据的来源复杂、结构异构问题，从而实现对数据的统一存储、管理和分析，实现用户无差别访问，充分发挥数据的价值。随着地铁建设项目复杂程度的提升，大规模的数据信息不断积累，城市轨道交通建造过程中产生的海量多源异构数据，包括结构化、半结构化和非结构化，特别是GIS数据、BIM数据、倾斜摄影数据、地质数据以及激光点云等数据，由于数据的分布式采集和数据来源形式多种，导致不同系统之间无法进行有效的数据互操作和集成应用，这不仅加大数据生产成本，造成人力、物力的极大浪费，也给数据共享带来极大困难。因此，为实现不同数据源的互连互通和数据的共享，构建多源异构数据集成系统显得尤为迫切。

现有的技术中，中国实用新型公开了一种多源异构数据快速采集系统，它包括数据采集单元、数据清洗单元、数据处理单元、通信层、云端服务器和云端存储单元，数据采集单元的采集数据输出端与数据清洗单元的采集数据输入端连接，数据清洗单元的清洗数据输出端与数据处理单元的输入端连接，数据处理单元与通信层通讯连接，通信层与云端服务器通讯连接，云端服务器的数据存储控制端与云端存储单元的控制端连接，云端服务器包括监听模块，监听模块显示数据处理单元与云端服务器的连接状态。该专利通过数据采集单元进行数据采集，采集的数据通过数据清洗单元进行数据清洗，数据处理单元进行数据规格化，将整理后的数据传输到云端服务器，以供用户访问使用；但是对于多源异构数据的处理中，并没有实现不同数据源的互连互通和数据的共享。

发明内容

本发明为解决现有的异构的信息生产环境，其不同系统之间无法进行有效的互操作的技术缺陷，提供了一种城市轨道交通工程的多源异构数据集成处理方法。

为实现以上发明目的，采用的技术方案是：

一种城市轨道交通工程的多源异构数据集成处理方法，包括以下步骤：

S1：创建数据源并将数据进行分类并存储至各源端数据库；

S2：根据各源端数据库创建元数据库；

S3：将异构数据源中的数据抽取到过渡性数据库；

S4：在规则和元数据库的约束下对过渡性数据库进行数据转换；

S5：对转换后的数据进行数据集成和融合，实现实体的分类分级、数据模型和数据格式的统一；

S6：基于元数据库，其内部的元数据管理器定义多维的、有冗余的目标数据模型结构，得到定义数据关联规则和目标映射关系；

S7：根据定义数据关联规则和目标映射关系，将已经集成和融合成功的数据从数据过渡区加载到数据仓库物理存储区域；

S8：将数据仓库物理存储区域的数据进行渲染并发布到相应的WebGIS服务器上，在指定系统中进行系统配置和服务的多源异构数据集成显示。