[发明专利]一种适用于分布式计算系统的节点及其组成的系统

说明书

本发明公开了一种适用于分布式计算系统的节点及其组成的系统，涉及数据处理技术领域,能够对“无限”运动着的数据进行高效率的实时处理。该适用于分布式计算系统的节点包括：传输模块，用于将接收到的来自上游节点的输入数据流根据输入数据流名切分，并通过与输入数据流名一一对应的有名管道传送给中心调度模块；中心调度模块，用于接收来自传输模块切分好的输入数据流，并将接收到的输入数据流放入以待处理任务名称命名的链表中，基于各待处理任务的优先级开启待处理任务，并将待处理任务发送给业务模块；还用于接收来自业务模块的输出数据流，并转发给传输模块；业务模块，对来自中心调度模块的输入数据流进行计算处理，并向中心调度模块输出处理之后的数据流。

技术领域

本发明涉及数据处理领域，尤其涉及一种适用于分布式计算系统的节点及其组成的系统。

背景技术

随着信息技术的飞速发展，基于数据处理和数据分析的应用受到了广泛的欢迎和关注。大量信息源带来数据规模的爆发式增长，对海量数据进行复杂计算已经远远超过单台计算机的处理能力，由此推动了对分布式系统及其关键技术的研究。分布式计算中把需要进行复杂计算的海量数据切分成小块后，分交由多台计算机并行处理，并将局部计算结果整合得出最终结果。

在复杂、海量、异构的数据环境中，不仅包含静态的、离线的、结构化的数据，还有实时传输的、持续产生的、非结构化的数据。例如传感器网络实时产生的监控数据，在线服务器产生的统计信息，路由器数据报的统计，这些数据时时刻刻都在“运动”的。面对这些“无限”运动着的数据，如果不能对其进行高效率的实时处理，将错过数据流中携带的关键信息。整合来自多个异构数据源的“运动”数据，在其“运动”的过程执行复杂的逻辑处理，包括数值计算、数据挖掘和模型预测，实时地给出用户关心的结果，这是传统分布式计算模式所无法做到的。

发明内容

本发明所要解决的技术问题在于提供一种适用于分布式计算系统的节点及其组成的系统，能够对“无限”运动着的数据进行高效率的实时处理。

为解决上述技术问题，本发明采用如下技术方案：

本发明提供了一种适用于分布式计算系统的节点，该节点包括：

传输模块，用于将接收到的来自上游节点的输入数据流根据输入数据流名切分，并通过与所述输入数据流名一一对应的有名管道传送给中心调度模块；还用于将来自所述中心调度模块的输出数据流传输给对应的下游节点；

中心调度模块，用于接收来自所述传输模块切分好的输入数据流，并将接收到的输入数据流放入以待处理任务名称命名的链表中，基于各待处理任务的优先级开启待处理任务，并将待处理任务发送给业务模块；还用于接收来自所述业务模块的输出数据流，并转发给所述传输模块；

业务模块，用于基于开启的待处理任务，对来自所述中心调度模块的输入数据流进行计算处理，并向所述中心调度模块输出处理之后的数据流。

优选的，该节点还包括：

数据持久化模块，用于接收来自所述中心调度模块的输出数据流和对应的输出数据流名，并进行数据持久化存储。

优选的，所述数据持久化模块用于接收到来自所述中心调度模块的输出数据流名时，从对应的有名管道持续读取来自所述中心调度模块的输出数据流，并进行存储。

优选的，所述数据持久化模块还用于将已经进行存储的输出数据流名和对应的输出数据流发送到以下游节点命名的共享内存队列中，并将所述下游节点名封装为任务，放入任务队列中。

优选的，所述传输模块用于取出所述任务队列中的下游节点名，从所述共享内存队列中获取对应的输出数据流和输出数据流名，并发送给对应的下游节点。

优选的，所述中心调度模块还用于基于所述节点的负载决定启动的待处理任务的数量，并根据各所述待处理任务的优先级开启待处理任务。