[发明专利]一种数据管理的方法以及相关装置在审
| 申请号: | 201910570378.8 | 申请日: | 2019-06-27 |
| 公开(公告)号: | CN110287152A | 公开(公告)日: | 2019-09-27 |
| 发明(设计)人: | 张文亮;李昕龙 | 申请(专利权)人: | 深圳市腾讯计算机系统有限公司 |
| 主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/11;G06F3/06 |
| 代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 聂秀娜 |
| 地址: | 518000 广东省深圳市南*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 访问信息 非易失性设备 数据管理 存储设备 相关装置 数据库 存储设备类型 访问类型 获取数据 数据类型 同一接口 读写 延时 申请 | ||
本申请公开了一种数据管理的方法以及相关装置,通过获取数据对于存储设备的访问信息,所述访问信息包括存储设备类型、访问类型或数据类型,并根据访问信息选择合适的接口进行操作,可以避免由于不同存储设备使用同一接口产生的大量延时,并且根据非易失性设备的特点对其进行相应的读写逻辑的调整,提高了非易失性设备在数据库中的利用率,进一步的提高了数据库的性能。
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据管理的方法以及相关装置。
背景技术
数据库系统是一种应用广泛的基础软件。受到设备物理性质的限制,为了充分发挥设备的能力,达到最优的性能,数据库系统需要针对不同的设备做不同的设计选择。
当前最常见的有针对内存和块设备两级存储的设计,主流的块设备有硬盘(harddisk drive,HDD)和闪存盘(solid state disk,SSD),因为硬盘是广泛使用的块设备,前一类系统也被称为硬盘数据库;现有的硬盘数据库系统考虑了内存和块设备两种层次的存储介质的结合使用,以内存缓存来弥补块设备的性能差距。另一方面,由于非易失设备的读性能接近内存,而写性能接近高端的SSD,也可以采用块设备和非易失设备两级存储的设计。
但是,由于数据库的访问负载具有高输入/输出高吞吐的特点,而基于现有方案无论什么数据在读写时都要经过标准的可移植操作系统接口(portable operating systeminterface of unix,POSIX)和文件系统,导致访问存在大量的延时,影响数据库的性能。
发明内容
有鉴于此,本申请第一方面提供一种数据管理的方法,可应用于数据库设计或相关应用产品中,具体包括:获取数据对于存储设备的访问信息,所述访问信息包括存储设备类型、访问类型或数据类型;根据所述访问信息确定访问接口;选择所述访问接口对所述数据进行操作。
优选的,在本申请一些可能的实现方式中,所述存储设备类型包括非易失性设备或块设备,所述根据所述访问信息确定访问接口,包括:若所述存储设备类型为非易失性设备,则确定访问接口为持久性内存开发工具包PMDK接口;若所述存储设备类型为块设备,则确定访问接口为可移植操作系统POSIX接口。
优选的,在本申请一些可能的实现方式中,所述访问类型包括读取数据或写入数据,所述选择所述访问接口对所述数据进行操作,包括:若所述访问类型为读取数据,且访问接口为PMDK接口,则将所述数据读取到指定的内存缓冲区页面;若所述访问类型为写入数据,且访问接口为PMDK接口,则将所述数据写入到指定的虚拟内存映射地址。
优选的,在本申请一些可能的实现方式中,所述数据类型包括数据表文件或临时文件,所述选择所述访问接口对所述数据进行操作,包括:若所述数据类型为数据表文件,且所述存储设备为非易失性设备,且所述访问类型为读取数据,则在数据缓存区中查找数据页面,所述数据页面用于指示所述数据;若存在所述数据页面,则直接读取所述数据;否则,映射所述数据到指定的虚拟内存映射地址,所述虚拟内存映射地址用于指示获取所述数据。
优选的,在本申请一些可能的实现方式中,所述选择所述访问接口对所述数据进行操作之前,所述方法还包括:获取所述数据中读取数据与写入数据的比例数值;若所述比例数值大于预设阈值,则迁移部分所述数据至非易失性设备处理。
本申请第二方面提供另一种数据管理的装置,包括:获取单元,用于获取数据对于存储设备的访问信息,所述访问信息包括存储设备类型、访问类型或数据类型;确定单元,用于根据所述访问信息确定访问接口;选择单元,用于选择所述访问接口对所述数据进行操作。
优选的,在本申请一些可能的实现方式中,所述存储设备类型包括非易失性设备或块设备,所述确定单元,具体用于若所述存储设备类型为非易失性设备,则确定访问接口为持久性内存开发工具包PMDK接口;所述确定单元,具体用于若所述存储设备类型为块设备,则确定访问接口为可移植操作系统POSIX接口。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市腾讯计算机系统有限公司,未经深圳市腾讯计算机系统有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910570378.8/2.html,转载请声明来源钻瓜专利网。





