[发明专利]一种数据管理方法、装置、电子设备及存储介质在审
| 申请号: | 202010443346.4 | 申请日: | 2020-05-22 |
| 公开(公告)号: | CN111651443A | 公开(公告)日: | 2020-09-11 |
| 发明(设计)人: | 崔博文 | 申请(专利权)人: | 京东数字科技控股有限公司 |
| 主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/22;G06F11/14 |
| 代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 卢万腾;刘蔓莉 |
| 地址: | 100176 北京市大兴区北京经*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 数据管理 方法 装置 电子设备 存储 介质 | ||
本申请实施例提供的一种数据管理方法、装置、电子设备及存储介质,检测数据库中待管理数据表是否满足预设的归档条件,若满足则将指向所述待管理数据表的数据表指针的指向由待管理数据表修改为预设的与待管理数据表对应的备用数据表,并对待管理数据表中存储的数据进行归档处理,当待管理数据表中存储的数据全部执行完归档处理后,对待管理数据表执行碎片整理处理。通过上述方法,在对待管理数据表中的数据进行归档处理之前,将指向所述待管理数据表的数据表指针的指向修改为对应的备选数据表,从而避免了后续进行归档处理和碎片整理处理时对数据写入造成影响,保证了数据可以正常写入数据库。
技术领域
本申请涉及计算机领域,尤其涉及一种数据管理方法、装置、电子设备及存储介质。
背景技术
当数据库中的历史存量数据过大时会导致数据库磁盘空间不足,而单表数据量过大则会导致数据插入和数据查询的速度降低。现有的数据管理办法通常是每隔一段时间手动对数据库包含的各数据表中不重要的历史数据进行删除。
但是在实现本申请过程中,发明人发现例如对于目前MYSQL数据库(一种开源的关系型数据库)来说,删除并非真正删除,删除数据后数据表里还会存在大量的碎片,仍然在占用空间,此时为了释放空间,需要再对数据删除后的数据表进行碎片整理工作。但是碎片整理工作较为繁琐,由于数据表进行数据删除后,可能还存在一些未删除的数据,所以在进行碎片整理时需要先筛选出碎片数据,然后再针对碎片数据进行整理,费时费力。而且目前在对数据表执行碎片整理时,数据库不能进行写操作只能支持读取操作,对线上服务影响过大。
发明内容
为了解决上述技术问题,本申请提供了一种数据管理方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种数据管理方法,包括:
检测数据库中的待管理数据表是否满足预设的归档条件;
若满足,则将指向所述待管理数据表的数据表指针的指向由所述待管理数据表修改为预设的与所述待管理数据表对应的备份数据表;
对所述待管理数据表中存储的数据进行归档处理;
当所述待管理数据表中存储的数据全部归档处理完成后,对所述待管理数据表进行碎片整理处理。
在一种可能的实现方式中,在检测数据库中的待管理数据表是否满足预设的归档条件之前,所述方法还包括:
将当前时间与所述数据库中预设的各个数据表对应的管理执行时间进行比对;
确定管理执行时间与所述当前时间相匹配的数据表为待管理数据表。
在一种可能的实现方式中,检测数据库中的待管理数据表是否满足预设的归档条件,包括:
检测数据库中的待管理数据表中存储的数据的条数是否小于预设的单表条数阈值以及所述待管理数据表的存量空间是否大于预设的存量空间阈值;
若所述待管理数据表的存储的数据的条数不小于预设的单表条数阈值,或所述待管理数据表的存量空间不大于预设的存量空间阈值,则确定所述待管理数据表满足预设的归档条件。
在一种可能的实现方式中,对所述待管理数据表中存储的数据进行归档处理,包括:
将所述待管理数据表中存储的数据发送至预设的消息队列;
根据监听到的归档任务,确定所述消息队列中进行归档处理的目标数据;
将所述目标数据存储至预设的归档数据库;
删除所述待管理数据表中所述目标数据。
在一种可能的实现方式中,在将所述目标数据存储至预设的归档数据库之前,所述方法还包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于京东数字科技控股有限公司,未经京东数字科技控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010443346.4/2.html,转载请声明来源钻瓜专利网。





