[发明专利]一种大数据管理方法在审
| 申请号： | 201510306918.3 | 申请日： | 2015-06-05 |
| 公开（公告）号： | CN104933119A | 公开（公告）日： | 2015-09-23 |
| 发明（设计）人： | 陈勇;王剑冰;陈纲 | 申请（专利权）人： | 福建富士通信息软件有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 福州市鼓楼区京华专利事务所(普通合伙) 35212 | 代理人： | 王美花 |
| 地址： | 350000 福建省福州*** | 国省代码： | 福建;35 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 数据管理 方法 | ||
1.一种大数据管理方法，其特征在于：所述方法为：将数据库数据抽取或文本文件作为输入，用户根据业务需要配置数据处理流程，对输入的数据进行处理，最终将处理的结果保存到数据库或大数据集群中；所述对输入的数据进行处理具体为：用户根据需求配置数据处理流程，数据处理流程的每个处理节点是一段SQL语句或者一段业务处理的程序片段，调度程序会定时启动数据处理流程，并依次执行数据处理流程的每个节点SQL语句或者程序片段，将执行后得到的结果存储于一缓存中。
2.根据权利要求1所述的一种大数据管理方法，其特征在于：所述将数据库数据抽取或文本文件作为输入具体为：配置数据库数据源信息，并使用sqoop工具，将数据库的表数据按一设定格式直接抽取到分布式文件系统中；或者允许业务程序将数据结果放于文件服务器的指定目录，文件服务器将监控该目录，一旦发现新文件将自动上传到分布式文件系统。
3.根据权利要求2所述的一种大数据管理方法，其特征在于：所述设定格式为：以制表符为字段分割符，以回车符为记录分割符。
4.根据权利要求1所述的一种大数据管理方法，其特征在于：所述方法还包括处理的结果的数据输出，该数据输出具体为：由用户指定数据库数据源信息，通过sqoop工具，将缓存中的数据直接写入数据库的表中；或者将缓存的数据写入分布式文件系统的制定目录，并根据用户需要，传送到指定的文件服务器。
5.根据权利要求1所述的一种大数据管理方法，其特征在于：所述数据处理流程定期执行，由调度服务进行资源分配和任务管理。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于福建富士通信息软件有限公司，未经福建富士通信息软件有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201510306918.3/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种视频专辑的关键词设置方法及装置
- 下一篇：一种抽水试验数据的处理方法
