[发明专利]基于网络存储设备的混合云存储系统及其数据处理方法在审
| 申请号: | 201910258170.2 | 申请日: | 2019-04-01 |
| 公开(公告)号: | CN110007862A | 公开(公告)日: | 2019-07-12 |
| 发明(设计)人: | 秦江波 | 申请(专利权)人: | 北京猫盘技术有限公司 |
| 主分类号: | G06F3/06 | 分类号: | G06F3/06 |
| 代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王宝筠 |
| 地址: | 100192 北京市海*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 网络存储设备 云存储 客户端 混合云存储 访问参数 数据处理 数据访问 行为信息 权重 缓存 访问行为 收集数据 下载文件 混合云 热数据 备份 预设 存储 架构 上报 申请 | ||
1.一种基于网络存储设备的混合云存储系统,其特征在于,所述系统包括云存储端、网络存储设备端和客户端;所述云存储端备份所述网络存储设备端的文件,所述客户端优先从所述网络存储设备端下载文件;
所述客户端,用于收集数据访问行为信息,并将所述数据访问行为信息上报至所述云存储端;所述数据访问行为信息包括所述客户端分别对所述云存储端和所述网络存储设备端中存储的文件的访问参数;
所述云存储端,用于根据各个文件的访问参数,计算各个文件的热点权重,并将热点权重高于预设阈值的文件作为热数据,缓存于所述网络存储设备中。
2.根据权利要求1所述的系统,其特征在于,所述云存储端包括ECS(Elastic ComputeService,弹性计算服务),OTS(Open Table Service,表格服务)、OSS(Object StorageService,对象存储服务)和FC(Function Compute,函数计算);所述ECS,用于以虚拟机的方式将一台物理机分成多台云服务器,提供可伸缩的计算服务;
所述OTS,用于提供海量数据存储功能和实时查询服务;
所述OSS,用于提供各个文件的对象存储服务;
所述FC,用于提供事件驱动的全托管计算服务。
3.根据权利要求2所述的系统,其特征在于,
所述ECS,具体用于根据各个文件的访问参数,计算各个文件的热点权重,将热点权重高于预设阈值的文件作为热数据,并通知所述网络存储设备从所述云存储端下载所述热数据。
4.根据权利要求3所述的系统,其特征在于,所述ECS,还用于将热点权重低于所述预设阈值的文件作为冷数据,并通知所述网络存储设备删除本地存储的所述冷数据。
5.根据权利要求2所述的系统,其特征在于,所述FC,具体用于对存储于所述云存储端的文件进行去重和压缩处理。
6.根据权利要求1所述的系统,其特征在于,所述系统采用文件的三级缓存结构;
所述客户端,用于提供文件的一级缓存;
所述网络存储设备端,用于提供文件的二级缓存;
所述云存储端,用于提供文件的三级缓存;
其中,所述一级缓存的优先级高于所述二级缓存,所述二级缓存的优先级高于所述三级缓存。
7.根据权利要求1所述的系统,其特征在于,
所述客户端,用于利用双通道同时向所述网络存储设备端和所述云存储端上传文件。
8.根据权利要求1所述的系统,其特征在于,所述客户端,用于根据局域网和移动网的文件传输速率、文件传输稳定度和文件传输成本确定文件下载路径;所述文件下载路径用于从所述网络存储设备端或所述云存储端下载文件。
9.根据权利要求1所述的系统,其特征在于,所述访问参数包括访问频次、最近访问时间、文件创建时间以及和热点文件表的关联度。
10.根据权利要求1所述的系统,其特征在于,所述云存储端中的文件索引采用双字段,所述双字段用于描述文件的上传源头。
11.一种基于网络存储设备的混合云存储系统中的数据处理方法,其特征在于,所述系统包括云存储端、网络存储设备端和客户端;所述云存储端备份所述网络存储设备端的文件,所述客户端优先从所述网络存储设备端下载文件;所述方法包括:
所述客户端收集数据访问行为信息,并将所述数据访问行为信息上报至所述云存储端;所述数据访问行为信息包括所述客户端分别对所述云存储端和所述网络存储设备端中存储的文件的访问参数;
所述云存储端根据各个文件的访问参数,计算各个文件的热点权重,并将热点权重高于预设阈值的文件作为热数据,缓存于所述网络存储设备中。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
所述云存储端将热点权重低于所述预设阈值的文件作为冷数据,并通知所述网络存储设备删除本地存储的所述冷数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京猫盘技术有限公司,未经北京猫盘技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910258170.2/1.html,转载请声明来源钻瓜专利网。





