[发明专利]数据存储方法、装置、电子设备及可读存储介质在审
申请号: | 202011590203.2 | 申请日: | 2020-12-28 |
公开(公告)号: | CN112684983A | 公开(公告)日: | 2021-04-20 |
发明(设计)人: | 卢世吉;常仕禄;陈鸿洛 | 申请(专利权)人: | 北京三快在线科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F11/14 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 任亚娟 |
地址: | 100083 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 存储 方法 装置 电子设备 可读 介质 | ||
本发明公开了一种数据存储方法、装置、电子设备及可读存储介质。其中,该方法包括:根据目标数据的写入至存储服务器中的第一时间,确定目标数据的数据状态;将目标数据存储至数据状态对应的存储位置。本发明解决了由于相关技术中的缓存策略无法有效地处理数据的缓存与读取过程,实时数据被历史数据污染,而导致实时数据读取速度慢的技术问题。
技术领域
本发明涉及数据存储技术领域,具体而言,涉及一种数据存储方法、装置、电子设备及可读存储介质。
背景技术
高吞吐量的分布式发布订阅消息系统Kafka在整体数据平台中承担统一的数据缓存和分发的角色。目前同一台机器,同一块磁盘上会存在多个主题(Topic)的多个分区(Partition)。该背景下,最常见的问题是同一块磁盘上不同主题分区的消费(读取数据)会竞争I/O资源,最终会出现消费资源充足的作业由于资源竞争最终被资源不足的消费作业所影响,进而产生延迟,影响服务质量(Service Level Agreement,SLA)。
现有的开源缓存架构方案有OpenCas和FlashCache,两者的核心设计思路类似,均通过利用操作系统的DM(Device Mapping,设备映射)层对用户的I/O资源请求进行分发路由的方式,将SSD(Solid State Disk或Solid State Drive,固态驱动器或固态硬盘)与HDD(硬盘驱动器/机械硬盘,Hard Disk Drive)按固定大小分为若干管理单元,将SSD空间与HDD空间进行映射。用户请求到达后,首先经由DM层首先尝试从SSD中获取数据,如果未找到数据,则会从HDD中读取数据,同时会将HDD中的数据回写到SSD中,如果SSD空间不足,则会按照最近最少使用(LRU)的策略淘汰掉一部分SSD数据。
申请人在实现本申请的过程中,发现现有技术中至少存在以下技术问题:
1.由于存储硬盘中高速缓存(PageCache)空间有限,在原生Kafka中,消费能力不足的作业会污染消费能力充足作业缓存数据,即,由于数据读取能力弱而使得数据读取存在延迟,进而使数据读取速度变慢。
2.开源方案(OpenCas和FlashCache)将基于SSD的缓存策略在操作系统内核中实现,可以一定程度缓解核心问题,但该方案核心理论依据为“数据空间局部性原理”(刚刚被访问的数据很有可能再次被访问),这与Kafka的读写特征并不完全吻合,使得开源方案无法将该问题根治。
3.无论是原生Kafka,还是开源缓存方案(OpenCas和FlashCache),如果发生缓存未命中(Cache Miss)时,都会将慢速设备中的数据回写回快速设备,这种机制无法避免不同作业的缓存数据发生相互污染的现象。
可见,相关技术中针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据存储方法、装置、电子设备及可读存储介质,以至少解决由于相关技术中的缓存策略无法有效地处理数据的缓存与读取过程,实时数据被历史数据污染,而导致实时数据读取速度慢的技术问题。
根据本发明实施例的一个方面,提供了一种数据存储方法,包括:根据所述目标数据的写入至存储服务器中的第一时间,确定所述目标数据的数据状态;将所述目标数据存储至所述数据状态对应的存储位置。
进一步地,将所述目标数据存储至所述数据状态对应的存储位置,包括:在所述数据状态为写入状态时,将所述目标数据存储至第一存储器;在所述数据状态为写入完成状态时,将所述目标数据同步至所述存储服务器的第二存储器;在所述数据状态为淘汰状态时,将所述目标数据从第一存储器中删除。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京三快在线科技有限公司,未经北京三快在线科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011590203.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种高温废气排放余热利用器
- 下一篇:一种温补晶振调试夹具
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置