[发明专利]一种基于数据库分区的数据更新方法、装置及系统在审
申请号: | 202010762855.3 | 申请日: | 2020-07-31 |
公开(公告)号: | CN113297232A | 公开(公告)日: | 2021-08-24 |
发明(设计)人: | 张浩然;潘岳 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/22 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 周嗣勇 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 数据库 分区 数据 更新 方法 装置 系统 | ||
本说明书公开一种基于数据库分区的数据更新方法、装置及系统,该方法应用于包括数据接收单元和数据更新单元的系统,方法包括:数据接收单元,持续性接收待更新数据,将接收到的待更新数据写入临时存储位置,并确定每条待更新数据所对应的更新目标分区;数据更新单元,针对任一更新目标分区,在预设的更新时间点执行以下操作:确定对应于该分区的待更新数据量;判断待更新数据量是否达到对应于该分区的预设阈值;若待更新数据量达到预设阈值,则在当前时间点执行针对该分区的数据更新操作。
技术领域
本说明书涉及数据库分区技术领域,尤其涉及一种基于数据库分区的数据更新方法、装置及系统。
背景技术
数据库分区是一种数据库设计技术,按照预定义的规则将数据存储在不同的物理位置,例如不同文件、不同硬盘等等。目的是减少查询数据的时所需要读取的数据总量以提高查询效率。举例而言,一个包含十年发票记录的表可以被分区为十个不同的分区,每个分区包含的是其中一年的记录。在查询时,可以直接在某个分区中进行查询,而非对整张表进行查询,减少了读取数据的数据量,因此提高了查询效率。
现有技术中,对分区中存储的数据更新过程如下:在接收到数据后,会确定接收到的数据各自所属的分区,并且在预设的周期性时间点,对各分区的数据进行全量读取,读取完成后与缓存中的数据进行合并,得到更新后数据,以更新后的数据替换该分区中原有的数据。
以上述方式对分区中的数据进行更新,在需要更新的数据较少时,仍需要读取该分区中的全量数据,更新的性价比较低,且对于数据库而言,每个周期需要读取大量分区中的数据,因此每个周期更新效率较低,资源消耗量较大。
发明内容
针对上述技术问题,本说明书提供一种基于数据库分区的数据更新方法及系统,技术方案如下:
根据本说明书的第一方面,提供一种基于数据库分区的数据更新方法,应用于包括数据接收单元和数据更新单元的系统,该方法包括:
数据接收单元,持续性接收待更新数据,将接收到的待更新数据写入临时存储位置,并确定每条待更新数据所对应的更新目标分区;
数据更新单元,针对任一更新目标分区,在预设的更新时间点执行以下操作:
确定对应于该分区的待更新数据量;
判断所述待更新数据量是否达到对应于该分区的预设阈值;
若待更新数据量达到预设阈值,则在当前时间点执行针对该分区的数据更新操作。
根据本说明书的第二方面,提供一种基于数据库分区的数据更新装置,包括:
数据接收单元,用于持续性接收待更新数据,将接收到的待更新数据写入临时存储位置,并确定每条待更新数据所对应的更新目标分区;
数据更新单元,用于针对任一更新目标分区,在预设的更新时间点执行以下操作:
确定对应于该分区的待更新数据量;
判断所述待更新数据量是否达到对应于该分区的预设阈值;
在待更新数据量达到预设阈值的情况下,在当前时间点执行针对该分区的数据更新操作。
根据本说明书的第三方面,提供一种基于数据库分区的数据更新系统,包括:数据接收单元、数据更新单元、临时存储位置以及至少两个数据库分区;
所述数据接收单元,用于持续性接收待更新数据,将接收到的待更新数据写入临时存储位置,并确定每条待更新数据所对应的更新目标分区;
所述数据更新单元,用于针对任一更新目标分区,在预设的更新时间点执行以下操作:
确定对应于该分区的待更新数据量;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010762855.3/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置