[发明专利]一种基于内存数据网格的实时流式数据处理失效恢复系统及方法

摘要

本发明涉及一种基于内存数据网格的实时流式数据处理失效恢复系统及方法，包括：调度器、状态服务器、任务队列和任务操作中心四个部分。本发明通过记录和状态信息的分离存储，使得快照中存储的状态信息减少，在降低数据处理的延迟的同时，提供更加轻便快照机制；通过数据窗口实现微批次的快照持久化，并通过双buffer的存储结构确保了“恰好一次”的语义保障；不需借助于第三方的集群对数据进行管理，在一定程度上降低了网络延迟。

主权项

1.一种基于内存数据网格的实时流式数据处理失效恢复系统，其特征在于：包括调度器、状态服务器、任务队列和任务操作中心四个部分：调度器，负责将从数据源接收到的数据流按照一致性哈希算法，路由到内存数据网格集群中各个内存数据网格节点进行相应的数据处理；当感知到节点失效发生时，会停止向失效节点发送数据，并自动修复和重启失效节点；任务队列，是一组基于内存的、可串行协作的分布式任务队列，队列中存放的具有时序特征的任务是从调度器路由过来的数据源或是经过任务操作中心处理后得到的中间结果；任务出队后进入下一个任务操作中心执行具体的数据处理逻辑；向任务操作中心输送任务的称为输入任务队列，从任务操作中心取出任务的称为输出任务队列；任务操作中心，提供用于任务处理的数据处理逻辑和快照机制，数据处理逻辑由用户自定义，可以是简单的数据操作，也可以是复杂的连接、聚合操作，快照机制在任务处理过程中随时捕获由任务的操作状态信息构成的快照信息，并将该快照信息异步持久化到状态服务器中；任务操作中心从输入任务队列中取出任务，根据用户定义的数据处理逻辑进行相应的数据处理，并将逻辑处理后得到的新的记录信息传递给输出任务队列；状态服务器，一种基于内存的分布式存储系统，用于存储任务操作中心中进行逻辑处理的记录的操作状态信息；当需要进行内存数据网格节点失效恢复时，状态服务器提供全面准确的记录操作状态，从而精确的恢复到失效前一刻的状态，实现“恰好一次”的语义保障；状态服务器支持数据备份，集群节点可动态扩展，对于内存数据网格节点失效的状态信息，能够定期的清理，保障内存空间的高效利用。