[发明专利]Hive文件处理方法及装置、计算机设备与存储介质在审
| 申请号： | 202111522530.9 | 申请日： | 2021-12-13 |
| 公开（公告）号： | CN114416655A | 公开（公告）日： | 2022-04-29 |
| 发明（设计）人： | 田地 | 申请（专利权）人： | 珠海格力电器股份有限公司;珠海联云科技有限公司 |
| 主分类号： | G06F16/16 | 分类号： | G06F16/16;G06F16/28 |
| 代理公司： | 北京聿宏知识产权代理有限公司 11372 | 代理人： | 金淼;陈超德 |
| 地址： | 519000*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种Hive文件处理方法及装置、计算机设备与存储介质，方法包括：获取目标分区，目标分区包括文件数量大于第一设定值且存在文件大小未达到第二设定值的待合并文件的分区；对目标分区的待合并文件进行合并处理，并对进行合并处理中的目标分区添加合并锁以禁止对目标分区进行读取操作。应用本发明方案，在流式数据接入场景下，通过扫描并合并Hive小文件，减小NameNode内存压力，从而加快Hive查询速度，在Hive进行文件合并的替换文件阶段，给正在合并的数据加锁，不允许此时查询这些数据，避免了此时查询数据不准确的问题，并且，合并锁仅仅限制数据的读取，并不限定数据的写入，能够适应于流式数据接入的场景。 | ||
| 搜索关键词： | hive 文件 处理 方法 装置 计算机 设备 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于珠海格力电器股份有限公司;珠海联云科技有限公司，未经珠海格力电器股份有限公司;珠海联云科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202111522530.9/，转载请声明来源钻瓜专利网。
