[发明专利]一种Janusgraph数据快速批量装载的方法

摘要

本发明涉及一种Janusgraph数据快速批量装载的方法，包括步骤：数据准备阶段：将需要批量装入图的顶点和边的数据保存到Hive表进行分片存储，以便于Spark计算引擎进行并行读取，并创建Janusgraph待装载图数据的Schema结构，以及配置Hive表与Schema结构的映射关系；HBase数据装载阶段：使用Spark计算引擎并行读取Hive表中的顶点与边，按照Janusgraph在HBase数据库中的存储结构与编码方式构建RDD数据集，并将RDD数据集以HFile文件形式装载到Janusgraph存储对应的HBase数据库中；Elasticsearch索引构建阶段：使用Spark计算引擎并行读取Hive表中的顶点与边，抽取需要索引的顶点或边的属性，按照Janusgraph在Elasticsearch索引的存储结构构建RDD数据集，并将RDD数据集并行写入到Elasticsearch索引。