[发明专利]一种基于图增量同步异构数据源数据关系的方法及装置

权利要求书

1.一种基于图增量同步异构数据源数据关系的方法，其特征在于，具体步骤如下：

步骤S1：将异构数据源注册到系统；

步骤S2：根据实际业务需求在图谱关系设计器设计数据关系图，数据关系图由节点和连线组成，每个节点属性记录一组源数据地址，连线连接两个节点用于描述节点与节点之间的关系，每条连线属性记录一组源关系数据地址，以及节点源数据与源关系数据的关联字段；

步骤S3：根据每个节点源数据地址获取源数据，同步到图谱数据库；

步骤S4：根据连线记录的源关系数据地址，获取源关系数据，以每条关系源数据记录两条数据的关联关系为依据为图谱数据库数据建立关联关系，遍历关系源数据循环进行S5以下步骤直到遍历结束；

步骤S5：用于检验待建立关系的两条数据是否存在于图谱数据库，如果存在，则进行步骤S8，如果不存在，则进行步骤S6；

步骤S6：从源数据库查询未同步到图谱数据库的源数据，查询到数据则进行步骤S7，查询不到数据则代表由于数据问题无法建立数据关系，本次建立关系结束；

步骤S7：同步待建立关系的两条数据到图谱数据库；

步骤S8：为待建立关系的两条数据在图谱数据库建立关系。

2.根据权利要求1所述的一种基于图增量同步异构数据源数据关系的方法，其特征在于：所述步骤S1具体包括下述内容：注册Mysql、Oracle、ElasticSearch和Dgraph等异构数据源到系统，注册信息包括必要的IP、端口、账号和密码等信息，为了避免后续同步数据频繁的创建销毁数据源连接，浪费不必要的性能损耗，注册完后会在系统自动维护各个数据源的连接池，方便后面同步数据直接在连接池获取数据库连接。

3.根据权利要求1所述的一种基于图增量同步异构数据源数据关系的方法，其特征在于：所述步骤S2具体包括下述内容：把即将同步到图谱数据库的数据都称为源数据，利用图谱关系设计器创建节点并通过配置节点属性的方式指向源数据，节点属性主要描述源数据地址，主要包括源数据数据源ID（通过数据源ID可以获取数据库的IP、端口等数据库连接信息），源数据集名称（表名/索引名），创建连线并通过配置连线属性的方式描述节点与节点的关系（即源数据与源数据之间的关系），连线属性主要描述关联表源数据地址，主要包括源节点ID、目标节点ID、源节点（源节点绑定的源数据）关联字段（如源节点源数据的ID等唯一值字段名）、目标节点（目标节点绑定的源数据）关联字段（如目标节点源数据的ID等唯一值字段名）、关联源数据数据源ID（通过数据源ID可以获取数据库的IP、端口等数据库连接信息）、关联源数据集名称（表名/索引名）、关联源数据与源节点（源节点绑定的源数据）关联字段、关联源数据与目标节点（目标节点绑定的源数据）关联字段。

4.根据权利要求1所述的一种基于图增量同步异构数据源数据关系的方法，其特征在于：所述步骤S3具体包括下述步骤：

①：根据源数据地址信息连接数据库；

②：为了提高同步数据的效率每次同步需要记录本次同步时间，同步的时候只同步本次同步时间与上次同步时间之间创建或更新的数据来保证增量同步，所以每次同步查询源数据需要加上时间查询条件限制；

③：由于异构数据源查询语句不一样，针对不同数据源查询的时候比较困难，定义一套标准统一查询语言，相关查询条件全部编写为标准查询语言，再由语言解析器把标准语言解析成功对应数据库的查询语言；

④：由于不同的数据源连接对象不一样，所以需要定义不同的执行器来执行不同数据源的查询语言，这一步主要是把步骤③生成的查询语言放到对应的语言执行器执行来获取源数据；

⑤：通过上面步骤获取各个节点的源数据，通过图谱数据存储器存入图谱数据库，图谱数据存储器需要有自动根据业务ID来判断数据是存储还是更新来防止同样的数据在图谱数据库重复存储多条，当图谱数据库已经存在数据，则更新数据，图谱数据库不存在数据，则保存数据。