[发明专利]一种数据处理方法及装置有效
| 申请号： | 201711455415.8 | 申请日： | 2017-12-28 |
| 公开（公告）号： | CN108255619B | 公开（公告）日： | 2019-09-17 |
| 发明（设计）人： | 赵英超 | 申请（专利权）人： | 新华三大数据技术有限公司 |
| 主分类号： | G06F9/54 | 分类号： | G06F9/54;G06F9/50 |
| 代理公司： | 北京博思佳知识产权代理有限公司 11415 | 代理人： | 林祥 |
| 地址： | 450000 河南省郑州市高新技*** | 国省代码： | 河南;41 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种数据处理方法及装置，所述方法包括：启动完成后，根据共享内存层中保存的Spark Context初始化数据向资源管理者RM发送资源分配请求；接收所述RM响应所述资源分配请求分配的容器，并分别指示各容器所属节点的节点管理者NM在所分配的容器中启动执行器；为各执行器分配任务，并对所述执行器中执行的任务进行监控，将任务执行得到的数据保存至所述共享内存层。应用本发明可以提高Spark on YARN集群的处理性能，避免性能瓶颈的产生，降低对运行Spark Driver的服务器的硬件配置的需求。 | ||
| 搜索关键词： | 共享内存 数据处理 分配 发送资源分配 资源分配请求 初始化数据 处理性能 任务执行 数据保存 性能瓶颈 硬件配置 集群 服务器 保存 监控 响应 应用 | ||
【主权项】：
1.一种数据处理方法，其特征在于，应用于包括多于一个Spark Driver的YARN‑Cluster模式的Spark on YARN集群中的任一Spark Driver，所述方法包括：启动完成后，根据共享内存层中保存的Spark Context初始化数据向资源管理者RM发送资源分配请求；接收所述RM响应所述资源分配请求分配的容器，并分别指示各容器所属节点的节点管理者NM在所分配的容器中启动执行器；为各执行器分配任务，并对所述执行器中执行的任务进行监控，将任务执行得到的数据保存至所述共享内存层。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司，未经新华三大数据技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711455415.8/，转载请声明来源钻瓜专利网。
