[发明专利]日志数据的处理方法、装置及电子设备有效
申请号: | 201710792766.1 | 申请日: | 2017-09-05 |
公开(公告)号: | CN110019065B | 公开(公告)日: | 2023-05-05 |
发明(设计)人: | 姜宇 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/182;G06F11/14 |
代理公司: | 广州铸智知识产权代理有限公司 44886 | 代理人: | 徐瑞红 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志 数据 处理 方法 装置 电子设备 | ||
本发明实施例提供一种日志数据的处理方法、装置及电子设备,其中,方法包括:各节点监测本节点与其主节点和/或备份节点之间的网络连接状态;如果监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的所述主节点的日志数据备份存储到本节点的备份节点上;和/或,如果监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。本发明实施例的方案能够在整体上对服务集群的性能不产生较大影响的基础上,降低日志数据不可恢复的可能性,提高系统的可靠性。
技术领域
本申请涉及计算机技术领域,尤其涉及一种日志数据的处理方法、装置及电子设备。
背景技术
分布式事务系统通常包含客户端、资源管理器、事务协调器几个角色。事务协调器负责协调一个分布式事务从开始到完成的所有相关处理流程,是系统核心角色。事务协调器需要做的一件很重要工作,是持久化全局事务和各事务分支的各个状态,也就是持久化事务日志,保证异常情况下数据不丢,这样才能确保数据的一致性。
现有技术中针对持久化事务日志常采用同步双写方案,即如图1所示,在由三个事务协调器的节点(图1中对应为节点A、节点B和节点C)组成的服务集群中,沿同一绕行方向依次互为主、备节点,并且在备节点的内存中同步备份有其主节点上的事务日志。例如,节点B作为节点A的备份节点,在本地除了存储节点B自身的日志数据外,还备份有节点A的日志数据;节点C作为节点B的备份节点,在本地除了存储节点C自身的日志数据外,还备份有节点B的日志数据;节点A作为节点C的备份节点,在本地除了存储节点A自身的日志数据外,还备份有节点C的日志数据。客户端可以接入到任一节点进行事务操作,并在该节点上产生日志数据,同时在节点的备份节点上备份该日志数据。
但是,一旦主节点损坏,在系统恢复期间,其备份节点也损坏,那么该主节点上的日志数据就会丢失,要想保证数据不丢失,就需要增加备份节点的数量,来降低数据不可恢复的可能性,但备份节点数量过多,整体上对服务集群的性能影响会比较大。
发明内容
本发明提供了一种日志数据的处理方法、装置及电子设备,能够在整体上对服务集群的性能不产生较大影响的基础上,降低日志数据不可恢复的可能性,提高系统的可靠性。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,提供了一种日志数据的处理方法,所述处理方法涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;
所述处理方法包括:
各节点监测本节点与其主节点和/或备份节点之间的网络连接状态;
如果监测到本节点与其主节点之间的网络连接断开,则将本节点上已存储的所述主节点的日志数据备份存储到本节点的备份节点上;
和/或,
如果监测到本节点与其备份节点之间的网络连接断开,则将本节点上已存储的本节点的日志数据备份存储到本节点的主节点上。
第二方面,提供了另一种日志数据的处理方法,所述处理方法涉及由三个事务协调器的节点构成的环形拓扑结构的服务集群,且各节点沿第一绕行方向依次为前一个节点的主节点,各节点沿第二绕行方向依次为前一个节点的备份节点,所述第一绕行方向与所述第二绕行方向相反,所述备份节点用于备份其主节点的日志数据;
所述处理方法包括:
当前节点接收其主节点即第一主节点发送的日志数据,所述日志数据为存储在所述第一主节点上的所述第一主节点的主节点即第二主节点的日志数据,所述日志数据为所述第一主节点与所述第二主节点之间的网络连接断开后由所述第一主节点发出;
和/或,
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710792766.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:消除重复日志记录的过滤方法及装置
- 下一篇:数据库处理方法及装置、系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置