[发明专利]日志写入方法及其装置、电子设备及存储介质

说明书

本发明公开了一种日志写入方法及其装置、电子设备及存储介质。其中，该写入方法包括：接收客户端的写日志请求，基于写日志请求，控制每个存储节点中的主放置群组在预先分配的内存中写入日志标识指示的日志，并将日志添加到发送队列中，采用远程访问网络访问数据存储器，轮询发送队列，将发送队列中的日志写入到从放置群组的内存中，在主放置群组接收到所有从放置群组返回的写入成功信息的情况下，确定日志写入成功。本发明解决了相关技术中无法在具有多个放置群组的情况下进行日志写入，容易导致日志不一致的技术问题。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种日志写入方法及其装置、电子设备及存储介质。

背景技术

当前，分布式存储系统在存储数据时，将客户端的数据分为固定大小的块或对象来存储，以提高系统的容错能力和整体性。相关技术中，一般是通过哈希算法，将数据块（或对象）散列到不同的放置群组PG（Placement Group）上，存储系统对这些PG创建副本之后，利用一定的算法以及设置故障域，将副本分散到不同的节点上或者不同的磁盘上，当一个节点的磁盘损坏时，可以通过其他节点的副本恢复数据，不会造成数据丢失。

分布式存储系统使用一致性协议来保证PG之间数据的一致性，以此来确保一个系统的高可用。例如，在三副本的情况下，每个节点上的PG副本使用一个Raft实例来管理：一个Leader、两个Follower。图1是现有技术中的一种可选的Raft日志写入方法的示意图，如图1所示，现有的方案是Leader储存节点接收到写请求后，通过套接字socket将Raft日志发送到Follower存储节点，具体为：Leader储存节点通过RPC（远程过程调用）模块将Raft日志发送至用户空间，然后通过Leader储存节点中的内核空间、网卡，再通过网络将Raft日志发送至Follower存储节点中的网卡，然后通过内核空间、用户空间、RPC模块，之后将Raft日志保存至本地存储中（本地存储可以为SSD（固态硬盘）、HDD（电脑存储器）等），在本地存储处理完成之后，将处理结果通过Follower存储节点中的RPC模块、用户空间、内核空间、网卡，再通过网络将处理结果发送至Leader储存节点中的网卡，经过内核空间、用户空间，最终RPC模块收到处理结果。

然而，上述方案存在如下问题：（1）Raft日志需要在网卡、内核空间、用户空间来回拷贝，而且需要通信双方的CPU参与，造成存储节点的性能损耗；（2）Follower存储节点将日志写入到硬盘时，Leader存储节点需要等待Follower的回复，直到收到大多数Follower写成功的返回消息后，才能给客户端返回结果，因此硬盘IO的时间是影响写数据时延的一个重要因素。

相关技术中，针对TCP/IP网络传输数据慢的问题，解决方式是使用远程直接内存访问RDMA（Remote direct memory access）代替TCP/IP网络，RDMA允许一台主机通过网络直接操作另一台主机的内存空间，以解决数据拷贝和接收端CPU占用的问题。RDMA提供了两种操作方式：send/receive和write/read，其中，send/receive是双边操作，通信双方的CPU都需要参与，write/read则是单边操作，发送端将数据写入到接收端注册的内存中，接收端不需要感知此过程。现有的方案是基于send/receive语义将Raft日志发送到对端节点的内存中，可以实现数据零拷贝，然而，通信时接收端需要通过receive原语来接收数据，CPU需要参与数据传输过程。