[发明专利]一种基于多任务实例的分布式数据接入方法和系统

说明书

本发明给出了一种基于多任务实例的分布式数据接入方法和系统，包括基于待接入数据的内容或格式配置待接入数据的数据源、处理器和数据接入的目标位置，并将配置结果发送至主节点；响应于主节点接收到配置结果，主节点利用任务实例规则向执行节点发送执行数据接入的任务实例的命令；响应于接收到主节点发出的命令，执行节点启动任务实例，任务实例包括从数据源获取数据，经由处理器处理后存储至目标位置；主节点接收执行节点返回的任务实例的记录和状态信息，基于执行节点所在集群的负载情况，监控并分配集群中的执行节点的任务实例。利用该方法或系统可根据数据的优先级、接入速率和服务器资源对接入进行动态调节，使整个集群的负载均衡。

技术领域

本发明涉及计算机数据处理领域，尤其是一种基于多任务实例的分布式数据接入方法和系统。

背景技术

目前，数据接入在业内常用的现有技术一般是一个单进程多线程的方式直接在单机上运行，尽管多线程能提升一定的并发度，但是依然局限于单机硬件资源的限制。一般都是要通过日志查看接入状态。

现有技术存在以下问题：不直观，学习和使用门槛较高，较难运行和维护；处理性能局限于受限于单机性能的限制，缺乏横向扩展能力和并发处理能力；可靠性和容错性较差，故障会暂停数据接入过程，需要人工干涉；无法做到根据数据优先级、接入速率、服务器资源限制等需求对接入进行动态调节。

发明内容

为了解决现有技术中数据接入中存在的各种问题，本发明提出了一种基于多任务实例的分布式数据接入方法和系统，用以解决现有技术中数据接入过程中存在的可靠性和容错性差以及无法依据监控进行动态调节的问题。

在第一个方面，本发明提出了一种基于多任务实例的分布式数据接入方法，该方法包括以下步骤：

S1：基于待接入数据的内容或格式配置待接入数据的数据源、处理器和数据接入的目标位置，并将配置结果发送至主节点；

S2：响应于主节点接收到配置结果，主节点利用任务实例规则向执行节点发送执行数据接入的任务实例的命令，其中，任务实例规则是基于数据的接入速率、资源占用比例和固定实例数对数据接入任务的配置规则；

S3：响应于接收到主节点发出的命令，执行节点启动任务实例，任务实例包括从数据源获取数据，经由处理器处理后存储至目标位置；

S4：主节点接收执行节点返回的任务实例的记录和状态信息，基于执行节点所在集群的负载情况，主节点监控并分配集群中的执行节点的数据接入的任务实例。

优选的，主节点和执行节点采用Master-Slave的架构，主节点对应多个执行节点。利用Master-Slave架构可以在提高计算效率的同时实现了信息的隐藏。

优选的，步骤S1中数据源包括FTP服务器、关系型数据库、NoSQL数据库、本地文件、云存储系统中的文件。多种数据源的可选择性保证数据接入的充分性，只要配置和驱动接口可以访问到对应的数据资源即可作为数据源接入。

优选的，步骤S1中的处理器包括文本文件处理器、图片处理器、音视频处理器、关系型数据库记录处理器。处理器的多样性可以确保接入的数据能够得到对应的配置处理。

优选的，步骤S1中的目标位置包括MySQL数据库、Hadoop分布式文件系统、HBase原始库、Solr服务器、ElasticSearch索引库中的一个或多个。目标存储可选择一个或多个，可以同时实现搜索或溯源等多种数据支撑。

优选的，步骤S2中的任务实例规则包括：接入速率大于预设速率阈值，启动任务实例；资源占用大于资源阈值，减少任务实例，反之则增加任务实例。通过任务实例规则，可以根据系统资源或接入速率配置合适的任务实例的数量，使得数据接入的过程更加合理。

优选的，任务实例的类型包括实时接入和离线接入。通过实时接入和离线接入可分别实现对不同类型的数据源的接入操作。