[发明专利]数据导入方法及装置

说明书

本申请实施例提供一种数据导入方法及装置，包括：响应于数据导入指令，将待导入数据分割成多个数据分片，并根据各数据分片和列式数据库管理系统的各存储分片构建导入关系，导入关系用于指示数据分片与存储分片之间的对应关系，将每一数据分片，导入至与数据分片具有对应关系的存储分片中，通过构建数据分片与存储分片之间的导入关系，以便基于该导入关系将数据分片导入至对应的存储分片中，避免了相关技术中，基于随机导入策略对待导入数据进行导入时，造成的因不同的待导入数据共同争用同一存储节点，而导致的导入速率偏低的技术问题，通过基于导入关系执行导入操作，可以实现针对性的导入，提高了导入速率的技术效果。

技术领域

本申请实施例涉及计算机技术领域和大数据领域，尤其涉及一种数据导入方法及装置。

背景技术

Spark处理器是为大规模数据处理而设计的快速通用的计算引擎，Spark处理器可以分布式读取数据，通过对数据做各种转换、加工处理等，将处理后的数据，分布式的导入存储目标(如数据库管理系统，具体可以为ClickHouse，ClickHouse是一款用于大数据实时分析的列式数据库管理系统)。

在现有技术中，数据的导入方法包括：获取数据导入请求，数据导入请求中包括一个或多个待导入数据，在数据库管理系统的各存储分片中，随机为一个或多个待导入数据分配存储分片，并将一个或多个待导入数据导入至相应的存储分片中。

在实现本申请过程中，发明人发现现有技术中至少存在如下问题：通过随机导入的方法将待导入数据导入至数据库管理系统，可能存在因不同的待导入数据共同争用同一存储节点，而造成的导入速率偏低的技术问题。

发明内容

本申请实施例提供一种数据导入方法及装置，用以解决数据的导入效率偏低的问题。

第一方面，本申请实施例提供一种数据导入方法，包括：

响应于数据导入指令，将待导入数据分割成多个数据分片，并根据各所述数据分片和列式数据库管理系统的各存储分片构建导入关系，其中，所述导入关系用于指示数据分片与存储分片之间的对应关系；

将每一所述数据分片，导入至与数据分片具有对应关系的存储分片中。

值得说明地是，在本实施例中，在本实施例中，通过构建数据分片与存储分片之间的导入关系，且导入关系用于指示数据分片与存储分片之间的对应关系，以便基于该导入关系将数据分片导入至对应的存储分片中，避免了相关技术中，基于随机导入策略对待导入数据进行导入时，造成的因不同的待导入数据共同争用同一存储节点，而导致的导入速率偏低的技术问题，通过基于导入关系执行导入操作，可以实现针对性的导入，提高了导入速率的技术效果。

在一些实施例中，根据各所述数据分片和列式数据库管理系统的各存储分片构建导入关系，包括：

生成包括各所述存储分片的地址信息的列表，并在用于执行导入操作的多个导入线程中广播所述列表；

根据每一所述导入线程，对所述列表和各所述数据分片之间的取模处理结果，构建所述导入关系。

值得说明地是，在本实施例中，通过确定列表，并基于列表与数据分片之间的取模结果，构建导入关系，可以使得各数据分片在各存储分片中相对较为平均的分配，从而使得各存储分片的负载相对较为均衡，从而可以提高数据导入的性能，也可以提高对列式数据库管理系统的资源的保护和利用率的技术效果。

在一些实施例中，根据每一所述导入线程，对所述列表和各所述数据分片之间的取模处理结果，构建所述导入关系，包括：

为每一所述数据分片分配索引值，并为每一所述导入线程分配包括索引值的数据分片；

根据每一所述导入线程，对分配得到的数据分片、以及所述列表之间取模结果，构建所述导入关系。