[发明专利]一种基于ceph的多journal记录方法、装置和介质

说明书

本发明实施例公开了一种基于ceph的多journal记录方法、装置和介质，预先为每个shard队列建立对应的journal队列和journal文件；每个journal文件有其对应的文件标识。当目标shard队列中生成新的journal数据时，将journal数据插入到目标journal队列。根据目标journal队列所对应的文件标识确定出相对应的目标journal文件，将journal数据存储至目标journal文件中。通过对每个shard队列建立对应的journal队列和journal文件，无需额外调用write_thread线程，减少了IO栈中的线程切换带来的性能损耗，同时实现了OSD中shard队列的joural数据的并行处理。

技术领域

本发明涉及分布式存储技术领域，特别是涉及一种基于ceph的多journal记录方法、装置和计算机可读存储介质。

背景技术

对象存储设备(Object Store Device，OSD)主要负责处理客户端的输入输出(Input/Output，IO)请求，并将数据写到磁盘。为了保证数据的一致性，在OSD崩溃之后可以找回数据，写数据之前，OSD会构造journal数据(journal)，并将journal写到磁盘之后向客户端返回写操作已完成，然后再进行数据的写入即执行数据的落盘操作。

在数据落盘之前需要执行journal写入磁盘的操作，由此可见，提高journal的处理速度能改善ceph的写性能。

每个OSD中有多个用于处理IO数据的工作队列即shard队列，所有数据的处理在shard队列中进行，shard队列通过shard线程进行事务的构造及journal的生成，之后会提交journal到writeq队列中。传统方式中多个shard队列将生成的journal数据向一个writeq队列提交时，为了避免数据存储的混乱，每个shard队列在向writeq队列存储数据时需要进行加锁操作，并且通过信号量唤醒write_thread线程，从而完成journal数据的存储。对于NVMe闪存(Non-Volatile Memory express，NVMe)、存储级内存(Storage ClassMemory，SCM)等高性能硬件平台，这种设计会成为性能瓶颈，造成IO处理达不到应用要求，出现延时高等问题。

可见，如何提升IO处理及响应速度，以减少IO时延，是本领域技术人员需要解决的问题。

发明内容

本发明实施例的目的是提供一种基于ceph的多journal记录方法、装置和计算机可读存储介质，可以提升IO处理及响应速度，以减少IO时延。

为解决上述技术问题，本发明实施例提供一种基于ceph的多journal记录方法，包括：

预先为每个shard队列建立对应的journal队列和journal文件；其中，每个所述journal文件有其对应的文件标识；

当目标shard队列中生成新的journal数据时，将所述journal数据插入到对应的目标journal队列；其中，所述目标shard队列为所有所述shard队列中的任意一个shard队列；

根据所述目标journal队列所对应的文件标识确定出相对应的目标journal文件，将所述journal数据存储至所述目标journal文件中。

可选地，在所述根据所述目标journal队列所对应的文件标识确定出相对应的目标journal文件，将所述journal数据存储至所述目标journal文件之后还包括：

获取journal数据当前所对应的的水位线信息；

将所述目标journal文件中与所述水位线信息相匹配的journal数据删除。