[发明专利]数据处理方法、装置、设备和存储介质在审
| 申请号: | 202010600582.2 | 申请日: | 2020-06-28 |
| 公开(公告)号: | CN111782632A | 公开(公告)日: | 2020-10-16 |
| 发明(设计)人: | 张安站;曲晶莹;刘伟;刘畅;陈正亮;万广弟 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
| 主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/22;G06F16/2457 |
| 代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
| 地址: | 100085 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据处理 方法 装置 设备 存储 介质 | ||
1.一种数据处理方法,包括:
根据从排序工具获取的第一数据的逻辑信息,确定第一物理地址;其中,所述第一物理地址为与所述第一数据关联的物理数据群组中数据分片的物理地址;
向所述排序工具发送所述第一物理地址,使所述排序工具根据所述第一物理地址对所述第一数据进行排序。
2.根据权利要求1所述的方法,其中,相同所述物理数据群组中的数据分片存储于不同数据存储区中;相同所述数据存储区中存储有不同所述物理数据群组中的数据分片。
3.根据权利要求1所述的方法,其中,所述根据从排序工具获取的第一数据的逻辑信息,确定第一物理地址,包括:
通过数据控制器,根据从所述排序工具获取的第一数据的逻辑信息,确定所述第一数据的元数据,并向所述排序工具发送所述第一数据的元数据;
通过数据库,根据从所述排序工具获取的第一数据的元数据,确定所述第一物理地址。
4.根据权利要求3所述的方法,其中,所述第一数据的元数据为与所述第一数据关联的物理数据群组中数据分片的版本信息。
5.根据权利要求1所述的方法,其中,所述第一物理地址包括与所述第一数据关联的物理数据分组中全量数据分片的全量物理地址和增量数据分片的增量物理地址,用于使所述排序工具根据所述增量物理地址和所述全量物理地址对所述第一数据进行排序。
6.根据权利要求1所述的方法,其中,所述方法还包括:
根据从数据构建器获取的第二数据的逻辑信息,确定第二物理地址;其中,所述第二物理地址为与所述第二数据关联的物理数据群组中数据分片的物理地址;
向所述数据构建器发送所述第二物理地址,使所述数据构建器根据所述第二物理地址写入所述第二数据。
7.根据权利要求6所述的方法,其中,所述根据从数据构建器获取的第二数据的逻辑信息,确定第二物理地址,包括:
通过存储控制器,根据从所述数据构建器获取的第二数据的逻辑信息,确定所述第二数据的元数据,并向所述数据构建器发送所述第二数据的元数据;
通过数据库,根据从所述数据构建器获取的第二数据的元数据,确定所述第二物理地址。
8.根据权利要求1所述的方法,还包括:
若检测到数据存储资源调整事件,则更新所述物理数据群组的存储资源,且更新所述物理数据群组中数据分片的物理地址。
9.根据权利要求8所述的方法,其中,所述若检测到数据存储资源调整事件,则更新所述物理数据群组的存储资源,且更新所述物理数据群组中数据分片的物理地址,包括:
若检测到所述物理数据群组中原数据分片的资源利用率大于第一资源利用率阈值,则为所述物理数据群组中原数据分片创建关联的新数据分片;
将所述原数据分片中的数据划分到所述原数据分片和所述新数据分片中,且将所述原数据分片和所述新数据分片的物理地址均作为所述物理数据群组中数据分片的物理地址。
10.根据权利要求8所述的方法,其中,所述若检测到数据存储资源调整事件,则更新所述物理数据群组的存储资源,且更新所述物理数据群组中数据分片的物理地址,包括:
若检测到所述物理数据群组中数据分片的资源利用率小于第二资源利用率阈值,则将所述物理数据群组中至少一个数据分片的数据合并到所述物理数据群组中其他数据分片中,且从所述物理数据群组中数据分片的物理地址中删除所述至少一个数据分片的物理地址。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010600582.2/1.html,转载请声明来源钻瓜专利网。





