[发明专利]一种利用哈希值比对进行数据增量复制的方法有效
申请号: | 201510518758.9 | 申请日: | 2015-08-21 |
公开(公告)号: | CN105138635B | 公开(公告)日: | 2019-04-09 |
发明(设计)人: | 曾德贤;李智;王鹏;殷智勇;马志昊;刁华飞;韩雷;邢维艳 | 申请(专利权)人: | 中国人民解放军装备学院 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/27 |
代理公司: | 北京中慧创科知识产权代理事务所(特殊普通合伙) 11721 | 代理人: | 由元 |
地址: | 101416*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 利用 哈希值 进行 数据 增量 复制 方法 | ||
本发明涉及一种利用哈希值比对进行数据增量复制的方法,包括以下步骤:确定源表的主键列与非主键列;计算当前记录非主键列值的哈希值;按照当前记录主键列值升序的顺序,将当前记录的主键列值与哈希值存储到文件1中;按照变化后记录的主键列值升序的顺序,计算变化后记录的非主键列值的哈希值;进行数据比对,得到数据增量,并将其进行标记并分类入数据库;将变化后记录的主键列值和哈希值存储于文件2中;将文件2覆盖文件1,数据增量复制完成。本发明所述方法不受数据库类型限制,不侵入不影响数据库,提高了比对效率。
技术领域
本发明涉及一种利用哈希值比对进行数据增量复制的方法,具体的,利用计算后的哈希值,通过比对来完成数据增量的捕获。
背景技术
在数据整合过程中,对于数据增量的复制始终是一个关键点、一个难点。要实现增量抽取,需要快速准确地捕获变化的数据,好的增量抽取机制要求整合过程能够将数据库中的变化数据按一定的频率准确地捕获到,同时不能给数据库造成太大的压力,影响现有业务使用。相对全量抽取而言,增量抽取的设计更复杂。
现有的增量抽取机制主要有:触发器方式、时间戳方式、全表比对方式、数据库日志分析方式、特定数据库方式(Oracle CDC方式)。其中,触发器方式由于不需要在抽取过程中执行比对步骤,所以增量抽取的性能较佳,但是触发器方式需要直接在数据集表上建立触发器,同时写临时表,对于频繁操作的业务系统可能会有一定的性能损失,尤其是当业务表上执行批量操作时,行级触发器将会对性能产生严重的影响;时间戳方式不能捕获delete操作,需要结合其它方式一起使用,同时该方式需要修改数据源系统表结构,对于不支持时间戳字段自动更新的关系型数据库产品,还必须要修改业务系统的功能,让它在源表执行每次操作时都要显示的更新表的时间戳字段;全表比对方式需要经过复杂的比对过程才能识别出更改的记录,抽取性能较差,此外还有一些需要建立临时表这种在某些场合中也遭到拒绝;基于数据库日志分析的方式上,因为大多数的数据库产品只允许特定组的用户甚至只有DBA才能执行日志分析,这样使得开放给数据整合进程的数据库权限的限制而无法实施;特定数据库方式(Oracle CDC方式)限定了数据库类型,难以广泛地应用。
发明内容
为解决上述问题,本发明的目的在于提供一种利用哈希值比对进行数据增量复制的方法,基于对数据记录哈希值的计算,利用其进行数据比对完成数据增量复制的实现。
本发明是通过以下技术方案实现的:
一种利用哈希值比对进行数据增量复制的方法,包括以下步骤:
步骤1,确定源表的主键列与非主键列;
步骤2,计算当前记录的非主键列值的哈希值;
步骤3,按照所述当前记录的主键列值升序的顺序,将所述当前记录的主键列值与所述主键列值对应的哈希值存储到文件1中;
步骤4,按照变化后记录的主键列值升序的顺序,计算所述变化后记录的非主键列值的哈希值;
步骤5,将所述变化后记录的主键列值和其对应的哈希值,与所述文件1的主键列值和其对应的哈希值进行比对,得到数据增量,舍弃没有变化的数据,将所述数据增量进行标记并分类入数据库;
步骤6,将所述变化后记录的主键列值和哈希值存储于文件2中;
步骤7,将步骤6中的所述文件2覆盖步骤3中的所述文件1,数据增量复制完成。
进一步的,计算所述非主键列值的哈希值为将所述非主键列值排成字符串,计算所述字符串的哈希值。
进一步的,步骤5包括:
步骤5.1,将所述变化后记录的主键列值与所述文件1的主键列值进行比对,当所述主键列值有差异时,所述数据增量为新插入数据或删除数据;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军装备学院,未经中国人民解放军装备学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510518758.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种防磨损、防堵塞、防扬尘的落料管
- 下一篇:应用程序搜索方法及装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置