[发明专利]基于大数据技术的空间数据存储处理中间件框架实现方法

权利要求书

1.一种基于大数据技术的空间数据存储处理中间件框架实现方法，其特征在于：其包括以下步骤：

步骤A)、针对大数据量的多源异构空间数据及系统数据，采用ETL工具数据提取转换工具将这些数据提取出来，转换为通用格式的数据；所述数据提取转换步骤为： MapGIS数据存储在MapGIS数据库中，通过MapGIS转换工具将MapGIS数据库中的MapGIS数据导进到HBase分布式数据库中，同时，将HBase的数据导进到MapGIS数据库中；

步骤B)、数据分布式存储步骤：通过MapGIS Conversion tools for Hadoop工具将空间数据库中的MapGIS格式数据转换为Hadoop管理的文件格式MapGIS Conversion toolsfor Hadoop工具，将经过转换的MapGIS空间数据存储在分布式数据库HBase里，将上述工具提取MapGIS格式的地理范围、注记文本内容存储到内容库（HBase）中，注记文本内容的提取使得根据内容检索图件成为可能，区别于非矢量图件只能按文件名的检索方式，GIS图件信息成为内容库的组成部分，与成果资料内容一起，用于支撑着空间大数据数据挖掘；

在数据分布式存储步骤之后接着开始进行数据关联RDF步骤：建立空间数据的索引及语义目录，存储在数据关联图谱RDF里；其中，实体和数据之间的关联是基于图谱的概念，数据关联图谱可将空间地理实体和大量结构化或非结构化数据关联起来；所述数据关联RDF的具体步骤包括：

语义关联树步骤301：在语义关联树中存储实体及其关系；在语义关联树中存储三元组数据，三元组记录了实体与实体之间的关系，以及实体资源所在的URL地址信息；

资源URI步骤302：步骤301的实体和步骤303的空间数据由资源URI相互连接，可互相访问；

HBase分布式存储步骤303：HBase是一个面向列、稀疏的、分布式的多维排序映射表，每个列族中的数据都存放在一起，在读写时有效降低I/O开销，并且类似的数据放在一起；

其中HBase分布式存储数据库是采用KeyValue的列存储，Rowkey是行的主键，表示唯一一行，表中记录按照Row Key排序；在此以数据档案URL为主键；所有数据都是通过Rowkey主键进行访问；

KeyValue是列的列名和列值组成的键值对，多个KeyValue组成一个Column-family列族；

Column-family列族，包含多个逻辑属性组的任意属性值，一个table在水平方向有一个或者多个列族，列族由任意多个Column组成，列族支持动态扩展，无须预定义数量及类型，二进制存储，用户需自行进行类型转换；Column-family列族能尽量不丢失原始资料信息量，从而可以真实的组织和描述数据；

以文件档案编号和名称为主键的表，其中包含档案报告的属性，从而形成分布式内容库；

所述语义关联树的算法如下：

步骤1）、开始；

步骤2）、预定义根节点，设置关系为RowKey和GeomID的子节点为空；

步骤3）、读取内容库中主键Key，空间属性URI和指定的特征属性；

步骤4）、若空间属性URI为空，则执行步骤5，否则，执行步骤6；

步骤5）、在空间数据中匹配对应的特征属性，构建相应记录的URI，保存到内容库对应的属性列中；

步骤6）、对特征属性文本分词，取根节点为父节点；

步骤7）、按次序从分词结果集中取值，然后执行步骤8、步骤9、步骤10；

步骤8）、在语义关联树中查找关系为SubNode对应的节点，若不存在此节点，则执行步骤9、步骤10，否则回到步骤7；

步骤9）、若URI为空，则在空间数据中匹配对应的特征属性，构建相应记录的URI;

步骤10）、以此值创建节点Node，创建关系为RowKey的子节点Key，即三元组[Node,RowKey,Key]，创建关系为GeomID的子节点URI，即三元组[Node,GeomID,URI]，以Node节点为子节点，与父节点建立SubNode关系;

步骤11）、结束。