[发明专利]一种基于多级缓存的混合云存储系统和方法

说明书

技术领域

本发明属于计算机云存储领域，更具体地，涉及一种基于多级缓存的混合云存储系统和方法。

背景技术

近年来，云存储系统一直是网络存储领域研究的热点。云存储系统需要为用户提供高效的、有质量的、可扩展的服务。但是目前云存储系统仍然停留在传统的中心存储模式之下，如Goole的GFS、亚马逊的S3和微软的Azure等分布式云存储系统，其物理结构是将分散于全球的数据中心组织起来提供数据存储服务，因此仍然是中心存储-用户的服务模式。

随着用户对云存储系统的实时性、可扩展性、高效性等要求不断提高，传统中心存储-用户服务模式下的云存储系统网络延迟大、用户接入带宽有限的缺陷变得越来越明显：传统的云存储系统通常将中心存储部署于区域级的骨干网络，用户需通过广域网到云存储系统的中心存储进行数据存取操作，相比用户从本地磁盘存取数据，其数据传输速度慢，并且很容易受到用户接入云存储系统的网络环境的影响，导致用户从中心存储获取数据的网络延迟非常大；在传统的云存储系统中，所有用户的数据存取请求都发往中心存储进行处理，外加数据存取服务本身对网络带宽的要求比较高，导致在多用户并发存取数据时，中心存储的用户接入带宽成为各用户竞争的资源，用户接入带宽有限，数据传输速度慢，服务质量得不到保证。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多级缓存的混合云存储方法，其目的在于采用多级缓存技术，形成用户组缓存--超级节点层缓存--中心存储三层存储架构，允许用户优先从网络延迟较低的用户组缓存、超级节点层缓存中访问数据，从而降低用户数据访问的网络延迟。

为实现上述目的，按照本发明的一个方面，提供了一种基于多级缓存的混合云存储方法，包括如下步骤：

（1）用户登录时根据其所在的局域网加入一个用户组，向该用户组所在区域的超级节点发送用户名和密码进行用户认证；

（2）超级节点根据接收到的用户名和密码对用户进行认证；

（3）用户接收从超级节点返回的目录视图及其所有文件的元数据信息，将目录视图发送到该用户组的组长节点；

（4）组长节点根据接收到的目录视图判断其组缓存空间中是否包括该目录视图中的文件，若是则将组缓存空间中存储该文件的节点的IP地址反馈给用户，然后进入步骤（5），否则向用户发送空的反馈信息，然后进入步骤（5）；

（5）用户根据接收到的反馈信息确定其目录视图中每一个文件的最优访问路径，形成记录结构，将所有记录结构合并为一个元数据文件，并将该元数据文件缓存到本地；

（6）用户判断是向超级节点、该用户所在用户组内的组员节点还是中心存储发送请求；若是向超级节点发送请求，则转入步骤（7），若是向该用户所在用户组内的组员节点发送请求，则转入步骤（13），若是向中心存储发送请求，则转入步骤（14）；

（7）超级节点判断来自用户的请求是写请求还是读请求，如果是写请求则转入步骤（8），如果是读请求则转入步骤（12）；

（8）超级节点根据来自用户的写请求判断该用户是否有写文件的权限，若有则转入步骤（9），否则向用户反馈无写权限的信息，然后过程结束；

（9）超级节点判断其缓存空间是否已满，若是则转入步骤（10），否则转入步骤（11）；

（10）超级节点采用替换算法将其缓存空间中的部分文件换出该超级节点；

（11）超级节点将来自用户的写请求对应的文件上传到其缓存空间中进行缓存，并在文件上传完成后，更新目录视图和该文件的元数据信息，并将更新后的目录视图和元数据信息反馈给用户，重复执行步骤（3）至（5），然后过程结束；

（12）组员节点根据来自用户的请求，采用P2P技术传输该请求对应的文件，然后过程结束；

（13）超级节点根据来自用户的读请求判断该用户是否有读文件的权限，若有则进行读文件的操作，然后过程结束；否则向用户反馈

（14）中心存储根据来自用户的请求判断该用户是否有读文件的权限，若有则进行读文件的操作，然后过程结束，否则向用户反馈无读权限的信息，然后过程结束。

优选地，步骤（2）具体为，若认证通过则使用用户名获取该用户的目录视图，然后遍历目录视图中所有文件，取出文件的元数据信息，元数据信息包括文件的副本数目、各个副本的存放位置信息、文件的属性，并将该用户目录视图下所有文件的元数据信息反馈给用户，若认证未通过则给用户发送认证错误信息。