[发明专利]一种基于Hadoop的海量数据处理方法和装置在审
| 申请号： | 201511009913.0 | 申请日： | 2015-12-29 |
| 公开（公告）号： | CN105512336A | 公开（公告）日： | 2016-04-20 |
| 发明（设计）人： | 王明龙;王力;彭塨烨;谢潇宇;王伟;包辰明;赵金鑫;张舜华;陈暑生 | 申请（专利权）人： | 中国建设银行股份有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 广州三环专利代理有限公司 44202 | 代理人： | 温旭;郝传鑫 |
| 地址： | 100032 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 hadoop 海量 数据处理 方法 装置 | ||
1.一种基于Hadoop的海量数据处理方法，其特征在于，所述方法包括：
采集数据，
将所采集的数据进行整合，
将整合后的数据存入Hbase数据库，
根据所述Hbase数据库中数据的更新周期分别进行指标统计，
把指标统计的结果存入关系型数据库。
2.根据权利要求1所述的方法，其特征在于，所述采集数据包括：在前 端页面嵌入javascript脚本和rsyslog异步日志采集日志数据，和/或，通过rsync 同步采集应用服务器的业务数据。
3.根据权利要求1所述的方法，其特征在于，所述将所采集的数据进行 整合是基于FlumeNG框架。
4.根据权利要求3所述的方法，其特征在于，所述采集的数据在FlumeNG 框架中以文件类型的队列进行缓存。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述指标统计的结果保存为定期快照文件，并通过BDE将所述定期快 照文件向外提供。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收用户输入的查询条件，并根据所述查询条件访问所述关系型数据库 来获取所述指标统计的结果，然后将所述指标统计的结果向所述用户展示。
7.一种基于Hadoop的海量数据处理装置，其特征在于，所述装置包括：
采集模块，用于采集数据；
整合模块，用于将所述采集模块所采集的数据进行整合；
存储模块，用于将所述整合模块整合后的数据存入Hbase数据库，
加工模块，用于根据所述Hbase数据库中数据的更新周期分别进行指标统 计，其中，
所述存储模块，还用于将所述加工模块的指标统计的结果存入关系型数 据库。
8.根据权利要求7所述的装置，其特征在于，所述采集模块采集数据包 括：在前端页面嵌入javascript脚本和rsyslog异步日志采集日志数据，和/或， 通过rsync同步采集应用服务器的业务数据。
9.根据权利要求7所述的装置，其特征在于，所述整合模块是基于Flume NG框架。
10.根据权利要求9所述的装置，其特征在于，所述整合模块在FlumeNG 框架中以文件类型的队列进行缓存。
11.根据权利要求7所述的装置，其特征在于，所述加工模块，还用于将 所述指标统计的结果保存为定期快照文件，并通过BDE将所述定期快照文件 向外提供。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括：
展现模块，用于接收用户输入的查询条件，并根据所述查询条件访问所 述关系型数据库获取所述指标统计的结果，然后将所述指标统计的结果向所 述用户展示。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国建设银行股份有限公司，未经中国建设银行股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201511009913.0/1.html，转载请声明来源钻瓜专利网。
