[发明专利]一种数据传输方法、装置，电子设备及存储介质

说明书

本申请提供一种数据传输方法、装置，电子设备及存储介质。属于数据处理技术领域。该方法包括：根据预设数据格式，对源数据进行全量备份，生成全量图；获取用户上传的待分析文件；从所述全量图中获取与所述待分析文件对应的待分析实体以及从所述全量图中查找出与所述待分析实体相关联的第一实体，并将所述待分析实体以及所述第一实体导入目标数据库。在本申请实施例中，对源数据根据预设数据格式进行一次全量备份，能够最大化降低对第三方不稳定数据源的依赖，提高了系统运行的稳定性、准确性。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据传输方法、装置，电子设备及存储介质。

背景技术

在知识图谱OLAP(on-Line Analytic Processing，联机分析处理)分析中，经常需要针对超大数据的实时关系挖掘分析。例如在公安行业下，知识图谱有上百亿的实体关系，而破案的线索大约有几万的嫌疑人，需要搜索、探查这几万人背后的几度关系，找到背后可能潜在的潜在嫌疑人、线索。

在知识图谱OLAP分析前需要获取数据并对数据进行处理，然后导入到存储产品中，最后在存储产品中进行知识图谱OLAP分析。但是目前的方案是通过API接口的方式将源数据传输，经过加工处理后，将处理后的数据文件导入存储产品中。该方式非常依赖数据源的性能和稳定性，如果数据源压力较大，那么会造成整个系统响应速度慢，系统长时间无响应。

发明内容

本申请实施例的目的在于提供一种数据传输方法、装置，电子设备及存储介质，以改善“通过API接口的方式进行数据传输，非常依赖数据源的性能和稳定性，如果数据源压力较大，那么会造成整个系统响应速度慢，系统长时间无响应”的问题。

本发明是这样实现的：

第一方面，本申请实施例提供一种数据传输方法，包括：根据预设数据格式，对源数据进行全量备份，生成全量图；获取用户上传的待分析文件；从所述全量图中获取与所述待分析文件对应的待分析实体以及从所述全量图中查找出与所述待分析实体相关联的第一实体，并将所述待分析实体以及所述第一实体导入目标数据库。

在本申请中，对源数据根据预设数据格式进行一次全量备份，能够最大化降低对第三方不稳定数据源的依赖，提高了系统运行的稳定性、准确性。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述根据预设数据格式，对源数据进行全量备份，生成全量图，包括：将所述源数据转化为统一文件格式进行传输；针对所述源数据中各实体的关系、事件，生成关系文件；根据所述关系文件，生成所述全量图。

在本申请中，通过将源数据转化为统一文件格式；针对源数据中各实体的关系、事件，生成关系文件；根据关系文件，生成所述全量图，方便后续直接在全量图中查找出与待分析实体相关联的第一实体。且在数据传输时，将源数据转化为统一文件格式传输，与现有技术通过API接口传输相比，降低对不稳定数据源的依赖，提供系统稳定性、准确性。

结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述方法还包括：每隔预设的时间间隔，从数据源中获取增量数据；将所述增量数据转换为所述统一文件格式；将所述增量数据更新至所述全量图中。

在本申请中，通过每隔预设的时间间隔，从数据源中获取增量数据；将增量数据转换为统一文件格式；最后将增量数据更新至所述全量图中，能够及时获取数据源中的更新的数据，保证获取到数据的完整性和及时性。