[发明专利]用于数据库的数据处理方法、系统及计算机可读存储介质在审
申请号: | 201810564111.3 | 申请日: | 2018-06-04 |
公开(公告)号: | CN108920522A | 公开(公告)日: | 2018-11-30 |
发明(设计)人: | 许增伟 | 申请(专利权)人: | 上海点融信息科技有限责任公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京永新同创知识产权代理有限公司 11376 | 代理人: | 钟胜光 |
地址: | 200001 上海市黄浦*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 系统改变 数据处理 版本记录 计算机可读存储介质 数据库 排序 数据处理系统 版本查询 内容提供 起始点 | ||
本公开内容提供了一种用于数据库的数据处理方法,所述数据处理方法包括:确定系统改变号间隔,其中,所述系统改变号间隔在系统改变号起始点和系统改变号结束点之间;在所述系统改变号间隔内执行闪回版本查询,以获取所述数据库在所述系统改变号间隔内的版本记录,其中,每个版本记录均具有相应的版本开始系统改变号;以及根据所述版本开始系统改变号对所述版本记录进行排序以获得经排序的序列。此外,本公开内容还提供了一种用于执行上述数据处理方法的数据处理系统以及一种相对应的计算机可读存储介质。
技术领域
本公开内容涉及数据库中的数据处理技术,更为具体地涉及一种用于数据库的数据处理方法、一种用于执行上述数据处理方法的数据处理系统以及一种相对应的计算机可读存储介质。
背景技术
时序性就是事件发生的先后顺序。对于数据库来讲,事件的最小单元就是事务(即Transaction)。无论事务涉及的数据量有多大或者参与的表有多少,每提交一个事务就会产生一个事件。
作为一个正常的联机事务处理过程(Online Transaction Processing:OLTP)数据库,可能每时每刻在每张表上都在发生事务性操作。类似于事件溯源(Event Sourcing)机制,将源库上的事务按照发生的时间先后顺序(也就是事务的提交顺序)依次应用在目的库上是值得期望的,这样就会保证源表和目的表数据状态的一致性和事务的不可撕裂性。
在现有技术中,在做数据库的数据同步时,一个线程负责一张表的同步和数据处理,各个线程间互不干涉,也没有任何联系,这样会产生一些问题。
假设有一个用户表和一个用户投资记录表,很显然用户投资记录表中有一个外键字段指向用户表的用户标识符(ID)。如果单纯使用每张表/每线程的模式,很可能用户投资记录已经同步到目的表了,但是用户表的记录还没有同步过去,在目的库形成“子先于父存在”的情况。这不但让目的表不能像源表那样强制添加主外键约束,还会对目的端应用层的增量查询和数据汇总造成困扰。如果在同步过程中保持了时序性,则不会有此类问题发生。
此外,出于修正数据的需要,假设源库在一个事务中对多张表做了更新操作,然后提交事务。作为同步工具,如果不以事务为单位进行同步,将会使得目的库上的数据是混乱的:某些表的记录可能已经更新成了最新值,某些表可能还是保留原来的值,这是因为你的同步进程把事务撕裂了。源库在历史上的任何时刻从来没有出现过像现在目的库这样的数据形态,换句话说,即破坏了源库数据的一致性。同步本身可以有延迟,但是,数据不能有不一致。假设在源库的事务中债务人把钱还给了债权人,在目的库的某个时刻进行汇总查询,结果发现债务人的钱被扣除了,但是债权人的账户并没有增加,这就会产生财务系统的严重技术问题。
发明内容
基于对于以上技术问题以及技术现状的理解,本公开内容的发明人在本公开内容的第一方面中提供了一种用于数据库的数据处理方法,所述数据处理方法包括:
确定系统改变号间隔,其中,所述系统改变号间隔在系统改变号起始点和系统改变号结束点之间;
在所述系统改变号间隔内执行闪回版本查询,以获取所述数据库在所述系统改变号间隔内的版本记录,其中,每个版本记录均具有相应的版本开始系统改变号;以及
根据所述版本开始系统改变号对所述版本记录进行排序以获得经排序的序列。
在依据本公开内容的一个实施例中,根据所述版本开始系统改变号对所述版本记录进行排序以获得经排序的序列进一步包括:
根据所述版本开始系统改变号的值对所述版本记录进行排序;
在排序后将具有相同的开始系统改变号的版本记录组合为一个事务;以及
获得经排序的事务序列。
本公开内容的第二方面提供了一种用于数据库的数据处理系统,其包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海点融信息科技有限责任公司,未经上海点融信息科技有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810564111.3/2.html,转载请声明来源钻瓜专利网。