[发明专利]数据预加载方法、装置、设备及存储介质有效

专利信息
申请号: 202010102401.3 申请日: 2020-02-19
公开(公告)号: CN111290803B 公开(公告)日: 2023-06-09
发明(设计)人: 王海龙;郭振岗;李金龙 申请(专利权)人: 上海达梦数据库有限公司
主分类号: G06F9/445 分类号: G06F9/445;G06F16/22;G06F16/18
代理公司: 北京品源专利代理有限公司 11332 代理人: 孟金喆
地址: 201203 上海*** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据 加载 方法 装置 设备 存储 介质
【说明书】:

发明公开了一种数据预加载方法、装置、设备及存储介质。该方法包括:从启动页开始逐个扫描数据页;当连续扫描数据页的页数达到预设值时,通过预加载任务将目标簇预加载至缓冲区,所述目标簇与当前扫描页所在的当前簇对应;将所述当前簇关联的下一个数据页作为新的启动页,重复执行上述扫描操作和预加载操作,直至对最后一个数据页的预加载完成。上述技术方案以簇为单位,在扫描当前簇时,根据当前簇确定目标簇,将目标簇提前加载至缓冲区,降低了数据页读写的次数和频率,提高数据加载效率。

技术领域

本发明实施例涉及数据库技术领域,尤其涉及一种数据预加载方法、装置、设备及存储介质。

背景技术

数据库对数据文件的访问涉及磁盘读写操作,利用内存缓冲区可以实现磁盘读写操作的优化,即数据的修改在缓冲区中进行,必要时再进行磁盘读写操作。例如,通过查询语句第一次访问一张大表并进行全表扫描时,需要从磁盘加载该表的所有数据页,如果按照数据页的访问顺序(即根据数据页号)扫描数据页,并依次从磁盘加载数据页到缓冲区,每次只加载一个数据页,则在大表扫描过程中,磁盘读写的次数会非常多,碎片化、高频次的磁盘读写也会严重影响数据加载的速度,数据加载的效率低下,影响数据库操作的性能。

发明内容

本发明提供了一种数据预加载方法、装置、设备及存储介质及系统,以提高数据加载效率。

第一方面,本发明实施例提供了一种数据预加载方法,包括:

从启动页开始逐个扫描数据页;

当连续扫描数据页的页数达到预设值时,通过预加载任务将目标簇预加载至缓冲区,所述目标簇与当前扫描页所在的当前簇对应;

将所述当前簇关联的下一个数据页作为新的启动页,重复执行上述扫描操作和预加载操作,直至对最后一个数据页的预加载完成。

进一步的,所述预加载任务包括首次任务和非首次任务;

对于首次任务,所述目标簇包含N个簇,且所述目标簇包含当前簇;

对于非首次任务,所述目标簇包含1个簇,且所述目标簇为所述当前簇之后的第N-1个簇;

当前被预加载至缓冲区的簇的数量保持为N;

其中,N为正整数;

所述非首次任务在所述启动页发生簇切换时生成。

进一步的,还包括:

根据所述启动页的地址计算所述目标簇的描述项;

将所述描述项预加载至所述缓冲区中的描述项控制页中。

进一步的,还包括:

登记所述启动页的地址信息。

进一步的,还包括:

若所述启动页的地址信息不符合所述描述项控制页中预加载的信息,则启动中断任务,所述中断任务用于中断预加载操作并清理已登记的地址信息。

进一步的,在将所述当前簇关联的下一个数据页作为新的启动页之前,还包括:

根据扫描方向从所述当前簇的描述项中读取相邻簇字段;

根据所述相邻簇字段确定下一个数据页。

进一步的,还包括:

生成所述预加载任务的任务信息;

所述任务信息包括:启动页地址、预加载类型、预加载数量、预加载间隔、扫描方向以及预加载任务类型

第二方面,本发明实施例提供了一种数据预加载装置,包括:

扫描模块,用于从启动页开始逐个扫描数据页;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海达梦数据库有限公司,未经上海达梦数据库有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010102401.3/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top