[发明专利]文件合并方法和系统有效
| 申请号： | 201711438755.X | 申请日： | 2017-12-26 |
| 公开（公告）号： | CN110019168B | 公开（公告）日： | 2021-04-20 |
| 发明（设计）人： | 俞毅;吴化飞;叶建云 | 申请（专利权）人： | 浙江宇视科技有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215 |
| 代理公司： | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人： | 王术兰 |
| 地址： | 310000 浙江省杭州市滨江区西兴街道江陵路*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 文件 合并 方法 系统 | ||
1.一种文件合并方法，其特征在于，所述方法应用于Hbase数据库子集中的多个HFile合并过程，包括：
每隔预设时间，获取多个待合并子集；
根据待合并子集的重要程度，对所述多个待合并子集进行优先级排序，其中，衡量所述重要程度的多个要素包括：子集中的HFile的数量，子集中的HFile的新/旧程度，子集的分裂可能性，子集中的HFile的标记删除；
从优先级队列中，提取预设个数的优先合并子集；
分别对所述优先合并子集中的多个HFile进行合并。
2.根据权利要求1所述的方法，其特征在于，所述根据待合并子集的重要程度，对所述多个待合并子集进行优先级排序，包括：
设定影响子集合并的多个要素；
根据所述多个要素，计算每个待合并子集的多个要素值；
根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重；
根据所述要素值和所述权重，获得待合并子集的重要程度；
根据所述重要程度，对所述多个待合并子集从高到低进行排序。
3.根据权利要求2所述的方法，其特征在于，所述根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重，包括：
根据所述Hbase的运行时间，确定每个要素对待合并子集的影响力大小；
根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重。
4.根据权利要求1所述的方法，其特征在于，所述预设时间为15秒，所述预设个数为10个。
5.一种文件合并系统，其特征在于，所述系统应用于Hbase数据库子集中的多个HFile合并过程，包括：
获取模块，用于每隔预设时间，获取多个待合并子集；
排序模块，用于根据待合并子集的重要程度，对所述多个待合并子集进行优先级排序，其中，衡量所述重要程度的多个要素包括：子集中的HFile的数量，子集中的HFile的新/旧程度，子集的分裂可能性，子集中的HFile的标记删除；
提取模块，用于从优先级队列中，提取预设个数的优先合并子集；
合并模块，用于分别对所述优先合并子集中的多个HFile进行合并。
6.根据权利要求5所述的系统，其特征在于，所述排序模块，具体用于：设定影响子集合并的多个要素；根据所述多个要素，计算每个待合并子集的多个要素值；根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重；根据所述要素值和所述权重，获得待合并子集的重要程度；根据所述重要程度，对所述多个待合并子集从高到低进行排序。
7.根据权利要求6所述的系统，其特征在于，所述排序模块，具体用于：所述根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重，具体为根据所述Hbase的运行时间，确定每个要素对待合并子集的影响力大小，根据每个要素对待合并子集的影响力大小，确定所述每个要素的权重。
8.根据权利要求5所述的系统，其特征在于，所述预设时间为15秒，所述预设个数为10个。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浙江宇视科技有限公司，未经浙江宇视科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201711438755.X/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种中长期新能源资源资料库构建方法及系统
- 下一篇：一种数据处理的方法及装置
