[发明专利]一种基于单机存储引擎的数据处理方法和装置

说明书

本发明提供了一种基于单机存储引擎的数据处理方法和装置，涉及数据处理的技术领域，包括：获取待存储逻辑卷，并将待存储逻辑卷存入高速缓存层，并确定出待存储逻辑卷是否携带用户标记，用户标记包括：强制性标记和非强制性标记；若待存储逻辑卷携带用户标记，则基于用户标记，将待存储逻辑卷写入对应的缓存层；若待存储逻辑卷未携带用户标记，则基于空间局部性确定出待存储逻辑卷中的第一目标数据块，第一目标数据块对应的数据块存储在超高速缓存层，对应的数据块为与第一目标数据块的逻辑地址相邻的数据块；将第一目标数据块写入至超高速缓存层，解决了现有的单机混合存储引擎的数据放置机制的存储利用率和存储性能较低的技术问题。

技术领域

本发明涉及数据处理的技术领域，尤其是涉及一种基于单机存储引擎的数据处理方法和装置。

背景技术

超融合基础架构是一种将计算、网络和存储等资源作为基础设施进行整合，可以根据具体业务系统需求进行选择组合和自定义，方便快捷地进行数据中心搭建和业务系统部署的一种技术架构。具体实现方式上一般是在单元节点(x86服务器)中融入软件虚拟化技术(包括计算、网络、存储、安全等虚拟化)，而每一个单元节点可以通过网络聚合起来，实现模块化的无缝横向扩展(scale-out)，构建统一的资源池。

在超融合基础架构所使用的单机存储引擎中，优选使用分层存储的方式，分层存储为一种混合使用多种存储设备(如SATA固态盘、NVME固态盘、机械盘等)的存储架构。

由于不同层次的存储设备在价格、容量和性能等方面相差巨大，对存储引擎而言，为更好利用不同层次的存储设备，实现正确高效的数据放置至关重要。数据放置所涉及到的情况有：当数据被写入时选择写入到缓存层还是容量层；当容量层的数据被访问多次后选择是否提升到缓存层；当性能层使用率较高时选择淘汰部分数据。错误低效的数据放置机制可能会导致数据写放大，性能不佳或抖动等后果。不仅如此，由于SATA固态盘和NVME固态盘的性能差距可达数倍，当同时使用两种固态盘作为缓存层时，其内部的数据放置情况可能也会导致存储引擎的性能差距巨大。

针对上述问题，还未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种基于单机存储引擎的数据处理方法和装置，以缓解了现有的单机混合存储引擎的数据放置机制的存储利用率和存储性能较低的技术问题。

第一方面，本发明实施例提供了一种基于单机存储引擎的数据处理方法，包括：应用于基于单机存储引擎构建的服务器，所述服务器包括多个缓存层，其中，所述多个缓存层依次为超高速缓存层，高速缓存层和容量层，包括：获取待存储逻辑卷，将所述待存储逻辑卷存入所述高速缓存层，并确定出所述待存储逻辑卷是否携带用户标记，其中，所述用户标记包括：强制性标记和非强制性标记；若所述待存储逻辑卷携带所述用户标记，则基于所述用户标记，将所述待存储逻辑卷写入对应的缓存层；若所述待存储逻辑卷未携带所述用户标记，则基于空间局部性确定出所述待存储逻辑卷中的第一目标数据块，其中，所述第一目标数据块对应的数据块存储在所述超高速缓存层，所述对应的数据块为与所述第一目标数据块的逻辑地址相邻的数据块；将所述第一目标数据块写入至所述超高速缓存层。

进一步地，所述强制性标记用于表征所述待存储逻辑卷对应的缓存层；所述非强制性标记用于表征所述待存储逻辑卷的类型，其中，所述类型包括：热数据和冷数据。

进一步地，若所述待存储逻辑卷携带所述用户标记，则基于所述用户标记，将所述待存储逻辑卷存入对应的缓存层，包括：若所述待存储逻辑卷携带的所述非强制性标记的类型为热数据，则将所述待存储逻辑卷写入所述超高速缓存层；若所述待存储逻辑卷携带的所述非强制性标记的类型为冷数据，则将所述待存储逻辑卷写入所述容量层。