[发明专利]一种基于多任务实例的分布式数据接入方法和系统

权利要求书

1.一种基于多任务实例的分布式数据接入方法，其特征在于，包括以下步骤：

S1：基于待接入数据的内容或格式配置所述待接入数据的数据源、处理器和数据接入的目标位置，并将配置结果发送至主节点；

S2：响应于所述主节点接收到所述配置结果，所述主节点利用所述任务实例规则向执行节点发送执行数据接入的任务实例的命令，其中，所述任务实例规则是基于数据的接入速率、资源占用比例和固定实例数对数据接入任务的配置规则；

S3：响应于接收到所述主节点发出的所述命令，所述执行节点启动任务实例，所述任务实例包括从所述数据源获取数据，经由所述处理器处理后存储至所述目标位置；

S4：所述主节点接收所述执行节点返回的所述任务实例的记录和状态信息，基于所述执行节点所在集群的负载情况，所述主节点监控并分配所述集群中的所述执行节点的数据接入的任务实例。

2.根据权利要求1所述的基于多任务实例的分布式数据接入方法，其特征在于，所述主节点和所述执行节点采用Master-Slave的架构，所述主节点对应多个所述执行节点。

3.根据权利要求1所述的基于多任务实例的分布式数据接入方法，其特征在于，所述步骤S1中数据源包括FTP服务器、关系型数据库、NoSQL数据库、本地文件、云存储系统中的文件。

4.根据权利要求1所述的基于多任务实例的分布式数据接入方法，其特征在于，所述步骤S1中的处理器包括文本文件处理器、图片处理器、音视频处理器、关系型数据库记录处理器。

5.根据权利要求1所述的基于多任务实例的分布式数据接入方法，其特征在于，所述步骤S1中的目标位置包括MySQL数据库、Hadoop分布式文件系统、HBase原始库、Solr服务器、ElasticSearch索引库中的一个或多个。

6.根据权利要求1所述的基于多任务实例的分布式数据接入方法，其特征在于，所述步骤S2中的任务实例规则包括：所述接入速率大于预设速率阈值，启动任务实例；所述资源占用大于资源阈值，减少任务实例，反之则增加任务实例。

7.根据权利要求1所述的基于多任务实例的分布式数据接入方法，其特征在于，所述任务实例的类型包括实时接入和离线接入。

8.根据权利要求1所述的基于多任务实例的分布式数据接入方法，其特征在于，所述步骤S3还包括：所述任务实例根据所述待接入数据的优先级动态调整，即在服务器资源有限时，将所述服务器资源分配予优先级高的数据接入；所述服务器空闲时，将所述服务器资源分配予积压的低优先级的数据接入。

9.根据权利要求1所述的基于多任务实例的分布式数据接入方法，其特征在于，所述步骤S4具体包括：所述主节点监控到任务实例异常退出，将所述异常退出的任务实例分配至负载最低的执行节点中运行。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被计算机处理器执行时实施权利要求1至9中任一项所述的方法。

11.一种基于多任务实例的分布式数据接入系统，其特征在于，包括：

主节点：配置用于接收基于待接入数据的内容或格式配置所述待接入数据的数据源、处理器和数据接入的目标位置；利用所述任务实例规则向执行节点发送执行数据接入的任务实例的命令，其中，所述任务实例规则是基于数据的接入速率、资源占用比例和固定实例数对数据接入任务的配置规则；接收所述执行节点返回的所述任务实例的记录和状态信息，基于所述执行节点所在集群的负载情况，所述主节点监控并分配所述集群中的所述执行节点的数据接入的任务实例；

执行节点：配置用于响应于接收到所述主节点发出的执行数据接入的任务实例的命令，所述执行节点启动任务实例，完成数据接入任务。

12.根据权利要求11所述的基于多任务实例的分布式数据接入系统，其特征在于，所述执行节点中具体包括数据源、处理器和存储目标。