[发明专利]事务处理方法、装置、计算设备及存储介质有效
申请号: | 202111305207.6 | 申请日: | 2021-11-05 |
公开(公告)号: | CN115114344B | 公开(公告)日: | 2023-06-23 |
发明(设计)人: | 熊亮春;潘安群;韩硕 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458;G06F16/25;G06F16/27;G06F16/21 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 李文静 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 事务处理 方法 装置 计算 设备 存储 介质 | ||
1.一种事务处理方法,其特征在于,应用于混合交易/分析HTAP系统,所述HTAP系统包括在线交易处理OLTP集群、在线分析处理OLAP集群和存储集群,所述OLTP集群用于处理交易型事务,所述OLAP集群用于处理分析型事务;其中,所述交易型事务在提交完成的时刻生成当前态数据和历史态数据,所述当前态数据存储于所述OLTP集群中,所述历史态数据在转储到所述存储集群后被所述OLTP集群删除;其中,所述存储集群中每份数据都具有一个一组主从副本和一个用于提供历史态数据的转储功能的实时分析从副本,所述实时分析从副本不参与所述一组主从副本的主副本选举流程,所述实时分析从副本与所述一组主从副本中的主副本或从副本之间通过一致性协议进行日志的追赶,以使所述实时分析从副本获取所述主副本上所有版本的所有数据;
所述方法由所述OLAP集群中的任一计算设备执行,包括:
确定任一分析型事务的数据查询条件、分析语义和查询时间段;
从所述查询时间段中确定第一时刻,所述第一时刻为将符合所述数据查询条件的历史态数据最近一次完成转储到所述存储集群的时刻;
查询是否缓存对第二时刻可见的第一历史态数据的中间分析结果,所述第二时刻为所述查询时间段的开始时刻到所述第一时刻之间的任一时刻;
在已缓存所述中间分析结果的情况下,将所述中间分析结果确定为最近的一次全量分析结果;在未缓存所述中间分析结果的情况下,基于所述分析语义,生成对所述第一时刻可见的第二历史态数据的全量分析结果;
基于从所述第一时刻起至所述查询时间段的结束时刻之间在所述历史态数据对应的当前态数据上发生的变更,从所述OLTP集群中获取所述变更产生的日志,对所述变更产生的日志进行回放,获取所述变更得到的数据;
比较主键标识相同的历史态数据和变更得到的数据,确定发生变更的字段;
如果所述数据查询条件不涉及所述发生变更的字段,跳过具有所述主键标识的数据;如果所述数据查询条件涉及所述发生变更的字段,对所述第一时刻之后变更得到的数据,计算增量分析结果;
将所述全量分析结果和所述增量分析结果结合,获取所述分析型事务的目标分析结果。
2.根据权利要求1所述的方法,其特征在于,所述生成对所述第一时刻可见的第二历史态数据的所述全量分析结果包括:
确定所述第二历史态数据的冷热等级,所述冷热等级用于表征在目标时间段内对在所述第二历史态数据上发生操作的频繁程度;
从所述存储集群中与所述冷热等级对应的存储设备中,读取所述第二历史态数据;
基于所述分析语义,对所述第二历史态数据进行处理,得到所述全量分析结果。
3.根据权利要求2所述的方法,其特征在于,所述确定所述第二历史态数据的冷热等级包括:
获取所述目标时间段内对所述第二历史态数据的访问次数;
获取所述目标时间段内对所述第二历史态数据对应的当前态数据的修改次数;
基于所述访问次数和所述修改次数,确定所述冷热等级。
4.根据权利要求2或3所述的方法,其特征在于,冷热等级不同的历史态数据存储在所述存储集群中不同的存储设备或者同一存储设备的不同存储介质中。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述分析型事务未指定所述查询时间段的开始时刻时,将符合所述数据查询条件的数据的最新版本的生效时刻确定为所述开始时刻;
当所述分析型事务未指定所述查询时间段的结束时刻时,将当前时刻之前距离所述当前时刻达到实时程度参数的时刻确定为所述结束时刻,所述实时程度参数用于表征数据库系统内的分析型事务处理的数据所支持的最大延时。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从所述结束时刻开始,每间隔第一目标时长,获取一次所述第一目标时长内发生变更的目标增量分析结果;
缓存获取到的各个目标增量分析结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111305207.6/1.html,转载请声明来源钻瓜专利网。