[发明专利]小文件处理方法、设备、装置及存储介质在审
| 申请号: | 202310745976.0 | 申请日: | 2023-06-21 |
| 公开(公告)号: | CN116775574A | 公开(公告)日: | 2023-09-19 |
| 发明(设计)人: | 秦晓东;张磊;葛迪;薛莹莹;周扬 | 申请(专利权)人: | 中国联合网络通信集团有限公司 |
| 主分类号: | G06F16/16 | 分类号: | G06F16/16;G06F16/13;G06F9/48 |
| 代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 孙静;刘芳 |
| 地址: | 100033 *** | 国省代码: | 北京;11 |
| 权利要求书: | 暂无信息 | 说明书: | 暂无信息 |
| 摘要: | 本申请提供一种小文件处理方法、设备、装置及存储介质,涉及大数据流式计算技术领域。该方法通过获取Flink框架运行过程中的待处理事件数据和任务数量,并基于待处理事件数据获取事件发生时间,根据事件发生时间判断数据类型为正常数据或者迟到数据,并根据数据类型获取相应的任务索引值,根据任务索引值获取目标子任务处理待处理数据,并将处理后的数据存储至目标子任务对应的目录文件中,亦即通过采用合适数量的子任务对数据进行处理,避免了由于任务反压,造成延长分区目录文件对下游系统可见时间的情况出现,以及数据不一致的问题,提升了用户的使用体验。 | ||
| 搜索关键词: | 文件 处理 方法 设备 装置 存储 介质 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国联合网络通信集团有限公司,未经中国联合网络通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202310745976.0/,转载请声明来源钻瓜专利网。





