[发明专利]一种分布式实时数据导入装置

权利要求书

1.一种分布式实时数据导入装置，包括manager、works、数据仓库电连接和分布式消息中间件，其特征在于：

所述manager用于重定向、任务管理、任务分配；

重定向：用于对segment的连接进行重新分配；

任务管理：管理worker和worker对应的任务；

任务分配：根据worker数量，对导入的任务分割并重新分配；

所述worker用于数据读取、数据计算、数据重分布和数据发送。

2.根据权利要求1所述的一种分布式实时数据导入装置，其特征在于：所述分布式实时数据导入的工作流程包括：

A、manager流程：

步骤一：根据用户指定的导入作业创建导入任务；

步骤二：根据导入任务和当前worker个数，对任务进行拆解，并重新分配给每个worker；

步骤三：manager发送“开始连接”命令到数据目的的master，master会通知所有的segment连接manager；

步骤四：连接到manager后，会通知重定向组件，重定向组件会根据worker，对所有的连接进行重新分配；

B、重定向流程：

步骤一：manager接收segment的连接，并通知到重定向组件；

步骤二：根据worker负载，为该连接分配一个worker；

步骤三：发送“重定向”命令给该segment，并携带新的连接信息(连接worker的信息)，让segment重新连接至该worker上；

C、worker流程：

步骤一：接收manager发送的任务，并根据任务内容创建对应的作业，连接数据源，创建对应的consumer。

步骤二：等待segment的连接。

步骤三：当与segment连接成功时，发送“数据开始”命令。

步骤四：当从数据源中获取到消息时，解析消息内容，判断该消息的目的连接是否在本worker上，如果不在，则进行步骤五，如果在，则进行步骤七。

步骤五：将该数据通过internalConnect发送至对应的worker上。

步骤六：从internalConnect接收到数据。

步骤七：将数据发送至对应的连接上。

步骤八：如果此次数据发送结束，则发送“数据结束”命令至对应连接。如果没有结束，则继续等待数据。

步骤九：如果导入任务结束，则发送“断开连接”命令至对应连接。

3.根据权利要求1所述的一种分布式实时数据导入装置，其特征在于：所述分布式实时数据导入的相关协议命令包括：

A、开始连接：发送给master，让master通知segment进行连接；

B、重定向：使segment重新连接到为其分配的worker上；

C、数据开始：开始一次数据流传输；

D、数据结束：此次数据流传输停止，将数据全部提交，并对外可查；

E、连接结束：断开连接，终止数据传输任务。