[发明专利]一种高可靠分布式数据流实时统计方法及系统

摘要

本发明公开了一种高可靠分布式数据流实时统计方法及系统。本发明包括三项技术，技术一为基于MapReduce编程模型的分布式数据流计算模型，将MapReducer模型的思想扩展到了集群概念上，每一Map或者Reducer计算单元都是分布式集群中的一节点，分别称作Mapper或Reducer，所有的Mapper节点组成Mapper集群，所有的Reducer节点组成Reducer集群；技术二为带序号的并发数据传递机制，技术三为基于状态与信号的分布式任务管理调度机制，其中技术一通过保证分布式系统的可扩展性，解决了吞吐量的问题；技术二和技术三分别解决了数据可靠性和任务可用性的问题，从而保证了可靠的语义。

主权项

1.一种高可靠分布式数据流实时统计方法，其步骤为：1)根据当前的统计任务生成分布式集群MapReducer的Map任务和Reducer任务；2)针对每个计算任务为Mapper集群中的每一Mapper节点初始化一Mapper序号、为Reducer集群中的每一Reducer节点初始化一Reducer序号；其中，Mapper序号初始化为Mapper集群已经在分布式缓存中生成的中间数据集个数；Reducer序号初始化为Reducer集群下一轮计算即将从分布式缓存中取得的中间数据集序号；3)Mapper集群中的Mapper节点根据当前的Mapper序号从消息中间件拉取消息并处理；其中，当一个Mapper节点处理完一个时间粒度的输入数据产生初步计算结果后，将Mapper序号自增1并把初步计算结果以自增后的Mapper序号存储在分布式缓存系统Redis中；4)Reducer集群从分布式缓存系统Redis中顺序读取所述初步计算结果并处理，得到当前统计任务的最终统计结果；其中，每个Reducer节点处理任务时，从分布式缓存系统Redis中得到Reducer序号，然后从分布式缓存系统Redis中读取该Reducer序号的数据；如果Reducer节点需要归并多个Reducer序号的数据集，则该Reducer节点保存增加后的Reducer序号，直到该多个Reducer序号的数据集处理完成后，将该Reducer节点的Reducer序号更新到分布式缓存系统Redis中。