[发明专利]一种数据加载方法及装置

摘要

本发明涉及数据处理领域，尤其涉及一种数据加载方法及装置，用以提高对系统内各个数据节点的资源及网络带宽的利用效率；本发明数据加载方法中，第一数据节点在接收到所属的数据库系统的主节点发送的数据加载指令后，从加载服务器中获取数据块，并检测获取的数据块中每条逻辑记录所属的数据节点，针对其中任意一条逻辑记录，在检测到该条逻辑记录属于本节点后，将该条逻辑记录存储在本地，在检测到该条逻辑记录属于所述数据库系统的其它数据节点后，将该条逻辑记录转发给所述其它数据节点。本发明将分布式数据库系统的数据重分布能力布置在数据库系统中的每个数据节点，从而可以充分利用数据库系统中每个数据节点的资源及网络带宽。

主权项

一种数据加载方法，该方法应用于数据库系统中数据的加载，该数据库系统包括多个数据节点和管理各数据节点的主节点，其特征在于，将分布式数据库系统的数据重分布能力布置在数据库系统中的每个数据节点，采用加载服务器为所述数据库系统提供数据块，所述数据块为包括多条逻辑记录的数据传输单元，其中每条逻辑记录对应数据库中存储的一行数据，该方法包括：第一数据节点在接收到所属的数据库系统的主节点发送的数据加载指令后，从加载服务器中获取数据块；所述第一数据节点检测获取的数据块中每条逻辑记录所属的数据节点；针对数据块中的任意一条逻辑记录，所述第一数据节点计算分布列的哈希值，根据计算的哈希值确定该条逻辑记录所属的数据节点；在检测到该条逻辑记录属于本节点后，将该条逻辑记录存储在本地，在检测到该条逻辑记录属于所述数据库系统的其它数据节点后，将该条逻辑记录转发给所述其它数据节点。