[发明专利]日志写入方法及其装置、电子设备及存储介质有效
| 申请号: | 202210381793.0 | 申请日: | 2022-04-13 |
| 公开(公告)号: | CN114461593B | 公开(公告)日: | 2022-07-29 |
| 发明(设计)人: | 汪峰;陶松霖;吴红伟;黄岩 | 申请(专利权)人: | 云和恩墨(北京)信息技术有限公司 |
| 主分类号: | G06F16/172 | 分类号: | G06F16/172;G06F16/18;G06F16/182 |
| 代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 黄海英 |
| 地址: | 100020 *** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 日志 写入 方法 及其 装置 电子设备 存储 介质 | ||
1.一种日志写入方法,其特征在于,包括:
接收客户端的写日志请求,其中,所述写日志请求携带有日志标识;
基于所述写日志请求,控制每个存储节点中的主放置群组在预先分配的内存中写入所述日志标识指示的日志,并将所述日志添加到发送队列中,其中,每个所述存储节点中设置有多个放置群组,所述多个放置群组包括:所述主放置群组以及至少一个从放置群组,每个所述放置群组绑定一个一致性协议,所述发送队列设置在数据存储器中;
采用远程访问网络访问所述数据存储器,轮询所述发送队列,将所述发送队列中的日志写入到所述从放置群组的内存中,其中,在所述日志写入成功的情况下,所述从放置群组通过所述一致性协议返回写入成功信息至所述主放置群组;
在所述主放置群组接收到所有所述从放置群组返回的所述写入成功信息的情况下,确定所述日志写入成功,
采用远程访问网络访问所述数据存储器,轮询所述发送队列,将所述发送队列中的日志写入到所述从放置群组的内存中的步骤,包括:采用远程访问网络访问所述数据存储器,轮询所述发送队列,并在轮询成功的情况下,将轮询到的所述日志的页面的写入状态更新为完成状态;遍历发送窗口,在所述发送窗口中每个子窗口中的当前页面的写入状态都为完成状态的情况下,分析当前页面的页面索引是否为最后一个索引;在所述当前页面的页面索引为最后一个索引的情况下,更新写入的内存子空间中的存储块的队列尾,并更新发送窗口的队列头。
2.根据权利要求1所述的日志写入方法,其特征在于,在接收客户端的写日志请求之前,还包括:
统计所述存储节点的节点数量;
基于所述存储节点的节点数量,划分每个所述存储节点中的内存空间,得到多个内存子空间,其中,每个所述内存空间中至少包括:元数据空间。
3.根据权利要求2所述的日志写入方法,其特征在于,在划分每个所述存储节点中的内存空间,得到多个内存子空间之后,还包括:
基于预设连接数,将所述内存子空间划分成多个存储块,其中,所述预设连接数为每两个所述存储节点之间的线程连接数量。
4.根据权利要求1所述的日志写入方法,其特征在于,在将所述日志添加到发送队列中之后,还包括:
按照所述日志添加到发送队列中的顺序,为所述日志设置日志索引;
分析所述从放置群组的节点状态;
在所述节点状态为探测状态的情况下,控制所述主放置群组探测所述从放置群组中每个日志的日志索引;
在探测出所述从放置群组中的日志索引与所述主放置群组中的日志索引不一致的情况下,采用预设远程调用算法,将不一致的所述日志索引所指示的日志发送到所述从放置群组中。
5.根据权利要求1所述的日志写入方法,其特征在于,在采用远程访问网络访问所述数据存储器,轮询所述发送队列之前,还包括:
将所述日志划分为预设个数的页面,其中,每个所述页面对应有一个上下文信息,所述上下文信息至少包括:所述页面的写入状态、页面索引;
设置发送窗口,其中,所述发送窗口为通过预设个数的子窗口组成的循环窗口;
计算所述日志要写入的内存子空间中空闲存储块的页面数量和空闲子窗口的页面上下文数量;
在所述空闲存储块的数量和所述空闲子窗口的数量都大于预设阈值的情况下,为每个所述页面分配一个所述空闲子窗口。
6.根据权利要求1所述的日志写入方法,其特征在于,还包括:
为每个所述放置群组设置一个代理组件;
在所述代理组件收到主放置群组发送的选举投票请求的情况下,遍历所述从放置群组中的内存,以分析所述从放置群组中的日志是否处理完成;
在所述从放置群组中的日志处理完成的情况下,通过与所述从放置群组连接的代理组件将所述选举投票请求发送至所述从放置群组,其中,所述从放置群组在确定所述选举投票请求中携带的日志索引大于所述从放置群组中的日志索引的情况下,返回投票结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于云和恩墨(北京)信息技术有限公司,未经云和恩墨(北京)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210381793.0/1.html,转载请声明来源钻瓜专利网。





