[发明专利]基于MapReduce的数据处理方法、客户端和系统在审
| 申请号： | 201310598175.2 | 申请日： | 2013-11-22 |
| 公开（公告）号： | CN103617033A | 公开（公告）日： | 2014-03-05 |
| 发明（设计）人： | 王函;王玮;吴远青;潘腾;郭伟;王旭东 | 申请（专利权）人： | 北京掌阔移动传媒科技有限公司 |
| 主分类号： | G06F9/44 | 分类号： | G06F9/44 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100026 北京市朝*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于MapReduce的数据处理方法，包括:客户端查询并获取本次MapReduce计算需要处理的多个文件夹信息，其中，所述多个文件夹中存储着需要处理的数据文件；遍历所述多个文件夹，根据所述多个文件夹的数据文件生成不同的任务，并依此送入MapReduce中的Map程序中，直至读取完所有的数据文件，由Map程序依次对所述数据文件进行map计算。此外，还公开了客户端和系统。不需要和现有技术那样必须要先将数据预处理到同一个文件夹下，由此，计算效率较高。 | ||
| 搜索关键词： | 基于 mapreduce 数据处理 方法 客户端 系统 | ||
【主权项】：
一种基于MapReduce的数据处理方法，其特征在于，包括:客户端查询并获取本次MapReduce计算需要处理的多个文件夹信息，其中，所述多个文件夹中存储着需要处理的数据文件；遍历所述多个文件夹，根据所述多个文件夹的数据文件生成不同的任务，并依此送入MapReduce中的Map程序中，直至读取完所有的数据文件，由Map程序依次对所述数据文件进行map计算。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京掌阔移动传媒科技有限公司，未经北京掌阔移动传媒科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201310598175.2/，转载请声明来源钻瓜专利网。
- 上一篇：一种显示插件的方法、装置及终端设备
- 下一篇：一种移动终端及提示方法
