[发明专利]海量数据处理方法和系统在审
| 申请号： | 201210215717.9 | 申请日： | 2012-06-27 |
| 公开（公告）号： | CN103514205A | 公开（公告）日： | 2014-01-15 |
| 发明（设计）人： | 闻剑峰;贺仁龙;石屹嵘;龚德志;段勇 | 申请（专利权）人： | 中国电信股份有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 中国国际贸易促进委员会专利商标事务所 11038 | 代理人： | 孙宝海 |
| 地址： | 100033 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 海量 数据处理 方法 系统 | ||
1.一种海量数据处理方法，其特征在于，所述方法包括：
并行采集多个数据文件；
将每个所述数据文件划分成多个独立的数据块，分别存储所述数据块；
对每个所述数据块进行清洗；
将清洗后的每个所述数据块保存到数据仓库。
2.根据权利要求1所述的方法，其特征在于，所述并行采集多个数据文件包括：
同时启动多个采集子任务，多个所述采集子任务并行采集多个所述数据文件。
3.根据权利要求1所述的方法，其特征在于，所述分别存储所述数据块包括：
将多个所述数据块分散存储到云平台的分布式文件系统上。
4.根据权利要求1所述的方法，其特征在于，所述对每个所述数据块进行清洗包括：
同时启动多个数据处理子任务，多个所述数据处理子任务并行对多个所述数据块进行数据读取、字段提取和格式转换。
5.根据权利要求1所述的方法，其特征在于，所述将清洗后的每个所述数据块保存到数据仓库包括：
利用所述数据仓库提供的多个数据访问点，同时将清洗后的每个所述数据块保存到所述数据仓库。
6.一种海量数据处理系统，其特征在于，所述系统包括：
并行采集装置，用于并行采集多个数据文件；
分散存储装置，用于将每个所述数据文件划分成多个独立的数据块，分别存储所述数据块；
清洗装置，用于对每个所述数据块进行清洗；
入库装置，用于将清洗后的每个所述数据块保存到数据仓库。
7.根据权利要求6所述的系统，其特征在于，所述并行采集装置，用于同时启动多个采集子任务，多个所述采集子任务并行采集多个所述数据文件。
8.根据权利要求6所述的系统，其特征在于，所述分散存储装置，用于将每个所述数据文件划分成多个独立的数据块，并将多个所述数据块分散存储到云平台的分布式文件系统上。
9.根据权利要求6所述的系统，其特征在于，所述清洗装置，用于同时启动多个数据处理子任务，多个所述数据处理子任务并行对多个所述数据块进行数据读取、字段提取和格式转换。
10.根据权利要求6所述的系统，其特征在于，所述入库装置，用于利用所述数据仓库提供的多个数据访问点，同时将清洗后的每个所述数据块保存到所述数据仓库。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国电信股份有限公司，未经中国电信股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201210215717.9/1.html，转载请声明来源钻瓜专利网。
