[发明专利]一种适用于流计算的数据调度方法

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种适用于流计算的数据调度方法。

背景技术

随着信息技术的飞速发展,基于数据处理和数据分析的应用受到了广泛的欢迎和关注。大量信息源带来了数据规模的爆发式增长，因此对海量数据进行复杂计算已经远远超过单台计算机的处理能力，由此推动了对分布式系统及其关键技术的研究。

分布式计算中把需要进行复杂计算的海量数据切分成小块后分交由多台计算机并行处理，并将局部计算结果整合得出最终结果。在复杂、海量、异构的数据环境中，不仅包含静态的、离线的、结构化的数据，还有实时传输的、持续产生的、非结构化的数据。面对这些“无限”运动着的数据，如果不能对其进行高效率的实时处理，将错过数据流中携带的关键信息。整合来自多个异构数据源的“运动”数据，在其“运动”的过程执行复杂的逻辑处理，包括数值计算、数据挖掘和模型预测，实时地给出用户关心的结果，这是传统分布式计算模式所无法做到的。

在传统的数据调度方法中，数据往往独立于应用，由系统负责将数据集中存储到磁盘上的关系表里并基于该关系表进行调度，存储的数据是静态的、固定的集合。针对这种处理模式的应用虽然可能频繁查询，但因为操作的对象是持久和稳定的，因此传统的数据调度方式并不适用于流计算。

发明内容

本发明所要解决的技术问题在于提供一种适用于流计算的数据调度方法。

为解决上述技术问题，本发明采用如下技术方案：

本发明提供了一种数据调度方法，包括：

实时获取数据流和待处理任务的订阅关系，建立与待处理任务一一对应的链表；

逐条读取来自数据管道的数据流；

根据所述订阅关系，将接收到的数据流放入对应的链表中；

基于链表，传输对应的数据流。

优选的，在实时获取数据流和待处理任务的订阅关系之前，还包括：

在特定端口监听连接请求；

当获取到预设信号，打开数据管道。

优选的，实时获取数据流和待处理任务的订阅关系包括：

获取处于就绪状态的待处理任务的优先级；

基于各处于就绪状态的待处理任务的优先级，对各处于就绪状态的待处理任务进行排位，获得优先级队列；

基于所述优先级队列，开启数个位于所述优先级队列前列的待处理任务；

实时获取数据流和所开启的待处理任务的订阅关系。

优选的，该数据调度方法还包括：

当检测到系统负载负荷超出预设负荷范围或抖动幅度超出预设幅度范围时，重新计算处于就绪状态的待处理任务的优先级。

优选的，该数据调度方法还包括：

根据系统负载自适应调整同时开启的待处理任务的数量。

优选的，同时开启的待处理任务的数量为T=C/P，其中，C为系统所具有的处理器的数量，P为密集计算所占的时间比重，其中，P为小于或等于1的任意实数。

优选的，将输出数据流和对应的输出数据流名进行存储。

优选的，待处理任务的优先级的影响因子包括待处理任务的重要程度、系统的运行状况和任务算子的类型。

本发明实施例提供了一种适用于流计算的数据调度方法，该方法根据待处理任务和数据流的实时的订阅关系，建立与待处理任务一一对应的链表，之后读取数据流，并将数据流存储入对应的链表中，最终将链表传输出去。由于链表是当需要使用时才根据待处理任务进行分配的，因此系统的硬件资源可以得到充分利用，并且这样的调度是动态的、非固定的集合，每个系统存储空间内的操作对象并非是持久和稳定的，这样的数据调度方法可适用于流计算。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据调度方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种适用于流计算的数据调度方法，如图1所示，该数据调度方法包括：