[发明专利]一种大数据管理的方法与系统

说明书

本申请公开了一种大数据管理的方法，包括：联合云网络架构设置有多个云，所述每一个云设置为树形拓扑结构；获取多种元数据及对应的元数据属性值，所述元数据属性值包括元数据类型及层级；依次按照元数据属性值将不同种类的元数据存储在不同云的不同节点中，其中所述元数据类型与对应存储的节点的所述节点数据类型相同，所述元数据层级与对应存储的节点的所述节点数据层级相同；设置所述每个节点的索引表，所述索引表用于查询当前所述节点存储的元数据的关联数据，以及所述关联数据的链路；当接收到查询操作指令后，通过所述索引表进行元数据及所述元数据的关联数据的查询。

技术领域

本申请涉及数据处理技术领域，尤其涉及大数据管理的方法与系统。

背景技术

城市信息模型(City Information Modeling，CIM)是对城市地上地下、室内室外各种实体目标及时空状态的数字化表达和描述，其反映城市规划、建设、发展以及运行，并且可用于城市规划决策、城市建设、城市管理等工作。

CIM是一个跨度很大的概念，涉及的行业包括规划、国土、交通、水利、安防、人防、环境保护、文物保护、能源燃气等各大行业及一切智慧城市相关的领域。

目前国内外对CIM尚缺乏系统深入的研究，据《智慧城市背景下城市信息模型相关技术发展综述》论文中的观点，可尝试从构成CIM术语的三个单词初步分析其基本特征：首先是City，CIM要覆盖城市尺度，这里的“城市”可以实例化为某个城市或城区、某个园区、某个社区、某个院落等，但它对建模对象的描述能力应该是城市级的；其次是Information，CIM所容纳的信息应该是覆盖各种空间、时间维度的，是能支撑各种城市应用的，CIM中的信息可以描述城市各种物理或人文实体，具有多时态、多类型、多粒度级别、多来源等特点；最后是Modeling，即CIM要基于一定规则和方法，对上述信息按需进行组织、模拟、分析以及表达，更进一步地，可通过融合、挖掘、以及提炼新的知识，凝聚出智慧。

从CIM的当前发展来看，CIM主要与BIM(Building Information Modeling，建筑信息模型)、GIS(Geographic Information System，地理信息系统)、以及IOT(Internet ofThings，物联网)等技术密切相关，同时还不可避免地需要应用到云计算、大数据等新一代信息技术。

现有技术中，对于海量的CIM数据，会采用不同云进行数据存储，以形成联合云，联合云存储不同类型的CIM数据，为城市决策提供数据支撑，但是海量数据的获取往往要通过跨云搜索才能完成，例如查询某一地区的单一景区GIS+BIM数据，往往需要单次遍历联合云的大量节点才能获取到完整的GIS+BIM数据，其效率低下，因此适用范围低。

发明内容

本申请实施例提供一种大数据管理的方法及系统，用于解决现有技术中智慧城市场景下海量数据搜索效率低下的问题。

本发明实施例提供一种大数据管理的方法，应用于智慧城市的联合云网络架构，包括：

联合云网络架构设置有多个云，所述每一个云设置为树形拓扑结构，其中，所述每一个云均包含有根节点、父节点及多个子节点，所述联合云网路架构将不同节点设置为不同的节点属性值，所述节点属性值包括节点数据类型及层级；

获取多种元数据及对应的元数据属性值，所述元数据属性值包括元数据类型及层级；

依次按照元数据属性值将不同种类的元数据存储在不同云的不同节点中，其中所述元数据类型与对应存储的节点的所述节点数据类型相同，所述元数据层级与对应存储的节点的所述节点数据层级相同；

设置所述每个节点的索引表，所述索引表用于查询当前所述节点存储的元数据的关联数据，以及所述关联数据的链路；

当接收到查询操作指令后，通过所述索引表进行元数据及所述元数据的关联数据的查询。