[发明专利]一种有效提升分布式运算性能的大数据均衡切片方法有效
| 申请号： | 201710191494.X | 申请日： | 2017-03-28 |
| 公开（公告）号： | CN107122242B | 公开（公告）日： | 2020-09-11 |
| 发明（设计）人： | 傅玉生;贺俊华;朱虹锦;鲜东 | 申请（专利权）人： | 成都优易数据有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 成都弘毅天承知识产权代理有限公司 51230 | 代理人： | 杨保刚 |
| 地址： | 611730 四川省成都市郫县德源镇（菁*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种有效提升分布式运算性能的大数据均衡切片方法，属于大数据分布式运算保护领域。根据分布式运算环境下的集群规模，通过合理地构建分布式运算在数据预处理阶段的数据切片机制，并利用组合贪心算法来均衡数据切片的大小，有效解决大数据键值对分布不均衡导致的数据切片倾斜问题，并提出全局最优的数据均衡切片方法。通过实施该方法，可以保证数据分片的均衡性，使分布式运算整体性能得到有效提升。 | ||
| 搜索关键词： | 一种 有效 提升 分布式 运算 性能 数据 均衡 切片 方法 | ||
【主权项】：
一种有效提升分布式运算性能的大数据均衡切片方法，其特征在于，包括以下步骤：S1：将分布式存储的原始数据切片为数据处理节点数量相同的切片,并以键值对的形式标识；S2：计算切片均衡水平，判断切片能否平衡划分，不能划分时添加扩展键值对EK到任一切片；否则直接进行下一步；S3：判断添加扩展键值对的切片是否满足切片均衡状态，当不满足切片均衡状态时进行下一步，满足均衡状态则跳转至S7；S4：对切片进行信息重构；S5：利用组合贪心算法迭代计算最优切片均衡方案，获得重新分配后的切片结构；S6：依据重新分配后的切片结构，重新对数据进行均衡切片；S7：获得均衡状态下的切片数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都优易数据有限公司，未经成都优易数据有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710191494.X/，转载请声明来源钻瓜专利网。
