[发明专利]一种数据写入方法、装置、设备及存储介质

说明书

本申请提供了一种数据写入方法、装置、设备及存储介质，该方法包括：根据预先建立的目标属性信息与每次写入单个图数据库节点的数据数量的对应关系，确定每个数据表每次写入图数据库集群的数据数量；分别将每个数据表按照所述每个数据表对应的数据数量依次写入图数据库集群；在将数据表中的数据写入图数据库集群之前，对该数据进行数据清理，并提前生成顶点标识。通过上述方法，减少图数据库集群查找数据去重耗时，实现了图谱结构对应不同顶点的数据和不同边的数据的导入批次分开设置，保证了硬件资源的充分利用，避免数据的堆积，加快图数据库集群的数据导入速率。

技术领域

本申请涉及图数据库技术领域，尤其涉及一种数据写入方法、装置、设备及存储介质。

背景技术

近年来，随着物联网、人工智能等数字化技术的广泛应用，企业数据呈现爆发式增长，数据之间的关联复杂度也随之激增。图数据库由于能够更好的明确和利用数据之间的关系，在复杂问题的处理上有着明显的优势，因此被广泛的应用于数据管理领域。

数据导入是构建图数据库的重要工作之一，目前数据导入的方法为：确定所述图谱结构中每一个节点和每一个边各自映射的属性项；基于节点映射的属性项从待写入数据中提取每一个节点的属性信息，以及基于边映射的属性项从所述待写入数据中提取每一个边的属性信息；基于每一个节点的属性信息、每一个边的属性信息、所述样本图谱结构中节点与边的关联关系，生成一个三元组对像(顶点-边-顶点)文件，并将该三元组对象文件导入图数据库。上述数据导入方式中，节点对应的数据与边对应的数据需要按照相同的批次同时导入，不适用于只能先导入点，后导入边场景；而且当点关联的属性数量远大于边关联的属性数量，以相同的批次导入数据时，若以边关联的属性数量设置批次，则可能会导致批次过大导致图数据库节点数据的堆积，若以点关联的属性数量设置批次，可能会因为批次过小无法充分利用图数据库硬件资源。

发明内容

本申请实施例提供了一种数据写入方法、装置、设备及存储介质，实现了图谱结构对应不同顶点的数据和不同边的数据的导入批次分开设置，既保证了硬件资源的充分利用，又不会造成数据的堆积。

第一方面，本申请实施例提供了一种数据写入方法，所述方法包括：

获取待写入图数据库集群的多个数据表，所述数据表的所属类别包括描述实体属性的实体数据表，及描述一对实体数据表属性之间关系的关系数据表；

针对每个数据表，根据所述数据表的所属类别以及表结构，在预先定义的描述图谱结构的多个属性信息中查询相匹配的目标属性信息；

根据预先建立的所述目标属性信息与每次写入单个图数据库节点的数据数量的对应关系，确定每个数据表每次写入图数据库集群的数据数量；

分别将每个数据表按照所述每个数据表对应的数据数量依次写入图数据库集群。

在一种可能的实施方式中，针对每个数据表，根据所述数据表的所属类别以及表结构，在预先定义的描述图谱结构的多个属性信息中查询相匹配的属性信息，包括：

若所述数据表所属类别为实体数据表，根据所述实体数据表中描述实体属性的字段，在预先定义的描述图谱结构顶点属性的多个属性信息中查询与所述实体数据表相匹配的目标属性信息；

若所述数据表所属类别为关系数据表，则根据所述关系数据表中描述一对实体数据表属性之间存在关系的字段，在预先定义的描述图谱结构边属性的多个属性信息中查询与所述关系数据表相匹配的目标属性信息。

在一种可能的实施方式中，所述根据预先建立的所述目标属性信息与每次写入单个图数据库节点的数据数量的对应关系，确定每个数据表每次写入图数据库集群的数据数量，包括：

根据预先建立的所述目标属性信息与每次写入单个图数据库节点的数据数量的对应关系，确定每个数据表每次写入单个图数据库节点的数据数量；