[发明专利]一种超算环境下的海量数据实时采集与处理方法在审
| 申请号： | 201810514917.1 | 申请日： | 2018-05-25 |
| 公开（公告）号： | CN108681489A | 公开（公告）日： | 2018-10-19 |
| 发明（设计）人： | 伍卫国;张祥俊 | 申请（专利权）人： | 西安交通大学 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 西安通大专利代理有限责任公司 61200 | 代理人： | 徐文权 |
| 地址： | 710049 陕*** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种超算环境下的海量数据实时采集与处理方法，首先通过flume软件的source端将超算集群数据生成的数据源端的消息源进行收集，然后通过flume软件将收集到的消息源汇集到Kafka软件中，消息源以Kafka软件为缓冲进行存储，通过Spark软件从Kafka软件中提取需要处理的消息源进行数据处理，从而实现超算环境下的海量数据实时采集与处理，从而实现超算环境下的海量数据实时采集与处理，使用kafka来作为中间的缓冲作用，提高了数据可靠性，基于kafka的分布式消息订阅系统可以有多个消息生产者和多个消费者的方式，这样保证了系统消息的高可用性，结合docker容器化技术和负载均衡技术完成容器编排和管理，能够应用于真实的分布式数据收集、实时处理并可扩充的超大集群环境。 | ||
| 搜索关键词： | 海量数据 实时采集 消息源 负载均衡技术 分布式数据 分布式消息 数据可靠性 订阅系统 高可用性 缓冲作用 集群环境 实时处理 数据生成 完成容器 系统消息 数据处理 可扩充 数据源 缓冲 集群 编排 存储 应用 保证 管理 | ||
【主权项】：
1.一种超算环境下的海量数据实时采集与处理方法，其特征在于，包括以下步骤：首先通过flume软件的source端将超算集群数据生成的数据源端的消息源进行收集，然后通过flume软件将收集到的消息源汇集到Kafka软件中，消息源以Kafka软件为缓冲进行存储，最后通过Spark软件从Kafka软件中提取需要处理的消息源进行数据处理，从而实现超算环境下的海量数据实时采集与处理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西安交通大学，未经西安交通大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810514917.1/，转载请声明来源钻瓜专利网。
