[发明专利]数据预加载方法、装置、设备及存储介质有效
申请号: | 202010102401.3 | 申请日: | 2020-02-19 |
公开(公告)号: | CN111290803B | 公开(公告)日: | 2023-06-09 |
发明(设计)人: | 王海龙;郭振岗;李金龙 | 申请(专利权)人: | 上海达梦数据库有限公司 |
主分类号: | G06F9/445 | 分类号: | G06F9/445;G06F16/22;G06F16/18 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 201203 上海*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 加载 方法 装置 设备 存储 介质 | ||
本发明公开了一种数据预加载方法、装置、设备及存储介质。该方法包括:从启动页开始逐个扫描数据页;当连续扫描数据页的页数达到预设值时,通过预加载任务将目标簇预加载至缓冲区,所述目标簇与当前扫描页所在的当前簇对应;将所述当前簇关联的下一个数据页作为新的启动页,重复执行上述扫描操作和预加载操作,直至对最后一个数据页的预加载完成。上述技术方案以簇为单位,在扫描当前簇时,根据当前簇确定目标簇,将目标簇提前加载至缓冲区,降低了数据页读写的次数和频率,提高数据加载效率。
技术领域
本发明实施例涉及数据库技术领域,尤其涉及一种数据预加载方法、装置、设备及存储介质。
背景技术
数据库对数据文件的访问涉及磁盘读写操作,利用内存缓冲区可以实现磁盘读写操作的优化,即数据的修改在缓冲区中进行,必要时再进行磁盘读写操作。例如,通过查询语句第一次访问一张大表并进行全表扫描时,需要从磁盘加载该表的所有数据页,如果按照数据页的访问顺序(即根据数据页号)扫描数据页,并依次从磁盘加载数据页到缓冲区,每次只加载一个数据页,则在大表扫描过程中,磁盘读写的次数会非常多,碎片化、高频次的磁盘读写也会严重影响数据加载的速度,数据加载的效率低下,影响数据库操作的性能。
发明内容
本发明提供了一种数据预加载方法、装置、设备及存储介质及系统,以提高数据加载效率。
第一方面,本发明实施例提供了一种数据预加载方法,包括:
从启动页开始逐个扫描数据页;
当连续扫描数据页的页数达到预设值时,通过预加载任务将目标簇预加载至缓冲区,所述目标簇与当前扫描页所在的当前簇对应;
将所述当前簇关联的下一个数据页作为新的启动页,重复执行上述扫描操作和预加载操作,直至对最后一个数据页的预加载完成。
进一步的,所述预加载任务包括首次任务和非首次任务;
对于首次任务,所述目标簇包含N个簇,且所述目标簇包含当前簇;
对于非首次任务,所述目标簇包含1个簇,且所述目标簇为所述当前簇之后的第N-1个簇;
当前被预加载至缓冲区的簇的数量保持为N;
其中,N为正整数;
所述非首次任务在所述启动页发生簇切换时生成。
进一步的,还包括:
根据所述启动页的地址计算所述目标簇的描述项;
将所述描述项预加载至所述缓冲区中的描述项控制页中。
进一步的,还包括:
登记所述启动页的地址信息。
进一步的,还包括:
若所述启动页的地址信息不符合所述描述项控制页中预加载的信息,则启动中断任务,所述中断任务用于中断预加载操作并清理已登记的地址信息。
进一步的,在将所述当前簇关联的下一个数据页作为新的启动页之前,还包括:
根据扫描方向从所述当前簇的描述项中读取相邻簇字段;
根据所述相邻簇字段确定下一个数据页。
进一步的,还包括:
生成所述预加载任务的任务信息;
所述任务信息包括:启动页地址、预加载类型、预加载数量、预加载间隔、扫描方向以及预加载任务类型
第二方面,本发明实施例提供了一种数据预加载装置,包括:
扫描模块,用于从启动页开始逐个扫描数据页;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海达梦数据库有限公司,未经上海达梦数据库有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010102401.3/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置