[发明专利]数据加载方法和系统

说明书

本发明提供一种数据加载方法和系统，所述方法包括按预设规则生成对应于待加载数据的分片信息表。其中，分片信息表包括待加载数据中每组数据的数据表主键和对应的分片索引。在各节点的配置文件中分别配置本节点所要处理的分片索引和任务数。各节点的任务分配单元分别读取本节点的配置文件，配置本节点加载数据的任务执行单元数量。各任务执行单元根据分配的分片索引加载对应的数据，删除分片信息表中对应的数据表主键。本发明通过对待加载数据进行分片，生成分片信息表，通过分片索引对各节点分配加载任务，并在加载数据时删除对应的数据主键，实现了避免重复加载数据，且支持分布式并发加载数据，且无需在数据库中标记加载状态，提高了加载速度。

技术领域

本申请涉及数据加载技术领域，进一步涉及关系型数据库的数据快速加载，具体涉及一种数据加载方法和系统。

背景技术

随着社会信息化的发展，近年来全球最大数据库的容量呈指数增长趋势，如何对海量数据进行存储、及时加载和高效查询成为数据库应用研究领域的热点之一。

目前常用的数据加载方式为，根据数据的主键，分批查询得到数据，进行计算，再根据数据主键删除数据，或更新数据状态为已加载。

普通的多线程数据加载方式可能会重复加载单条(组)数据，而标记数据状态为已加载的过程耗时较长。因此上述数据加载方式用时较长，难以满足高速加载数据的需求，同时对并发读取的支持不够，难以满足大数据计算对时效的要求。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种避免重复加载数据且支持分布式并发加载数据的数据加载方法和系统。

第一方面，本发明提供一种数据加载方法，所述方法包括：

按预设规则生成对应于待加载数据的分片信息表。其中，所述分片信息表包括所述待加载数据中每组数据的数据表主键和对应的分片索引。

在各节点的配置文件中分别配置本节点所要处理的分片索引和任务数。

各节点的任务分配单元分别读取本节点的配置文件，配置本节点中加载所述待加载数据的任务执行单元的数量。

各任务执行单元根据本节点的任务分配单元分配的分片索引加载对应的数据，删除所加载数据在所述分片信息表中的数据表主键。

第二方面，本发明还提供一种数据加载系统，所述系统包括若干节点，其中至少一个节点包括：

分片信息配置单元，用于按预设规则生成对应于待加载数据的分片信息表，在各所述节点的配置文件中分别配置本节点所要处理的分片索引和任务数。其中，所述分片信息表包括所述待加载数据中每组数据的数据表主键和对应的分片索引。

各所述节点分别包括：

任务分配单元，用于读取本节点的配置文件，配置本节点中加载所述待加载数据的任务执行单元的数量。

若干任务执行单元，用于根据本节点的任务分配单元分配的分片索引加载对应的数据，删除所加载数据在所述分片信息表中的数据表主键。

本发明诸多实施例提供的数据加载方法和系统通过对待加载数据进行分片，生成包括分片索引和数据主键的分片信息表，通过分片索引对各节点分配加载任务，并在加载数据时删除分片信息表中对应的数据主键，实现了避免重复加载数据的同时支持分布式并发加载数据，并且无需在数据库中标记加载状态，提高了加载速度；

本发明一些实施例提供的数据加载方法和系统进一步通过对待加载数据中每组数据的预定字段进行哈希运算和求余运算，得到对应的分片索引，从而生成分片信息表，实现对待加载数据的均匀分片，从而提高了加载效率；

本发明一些实施例提供的数据加载方法和系统进一步通过根据系统内的节点数量和每个节点的工作状态确定分片数量，实现对各节点分配适量的加载任务，从而提高了加载效率；