[发明专利]一种云存储客户端的低延迟元数据访问方法

说明书

技术领域

本发明涉及云存储客户端的元数据访问方法。

背景技术

云存储系统是云计算系统的重要组成部分，云存储系统是一种分布式存储结构。如图1所示，云存储系统由一个元数据服务器（简称MDS）、多个云存储服务器（简称YS）和多个云存储客户端结点（简称YC）通过互连通信网络互连构成。元数据服务器和云存储服务器通常部署在数据中心，由云存储服务商部署和维护，统称为云存储服务端。云存储服务端通过预定义的接口为云存储客户端结点提供元数据访问、文件内容访问等数据存储服务。元数据服务器为云存储客户端结点提供元数据访问服务，元数据描述每个文件的所有者、创建时间、修改时间、文件大小以及文件内容在存储服务器上的位置分布等信息。云存储系统元数据没有统一的数据格式和存储方式，一般采用自行定制的数据格式，存储在元数据服务器上磁盘的特殊分区。云存储服务器负责存储实际的文件内容，并在元数据服务器的支持下向云存储客户端结点提供文件内容访问服务。云存储客户端结点由用户部署和维护，通常通过广域网访问存储在云存储服务端的数据，由云存储客户端和安装云存储客户端的计算设备组成。云存储客户端是为用户提供云存储服务的客户端软件。云存储客户端结点的文件访问请求首先提交给元数据服务器，获取文件的元数据，然后根据元数据向相关的云存储服务器提交数据访问请求，完成数据读写过程。

云存储系统通常部署在广域网上，为地理上分布的多个用户提供文件存储服务，已广泛应用于互联网上。不同于并行文件系统，云存储系统的用户通常只能看到属于自己的目录和文件，各用户之间没有一致的I/O视图。元数据访问是云存储系统的基本功能之一，负责查询、添加、删除、更新云存储系统中目录和文件的元数据。

目前通常的云存储系统采用集中式方法，由专用的元数据服务器存储所有用户文件的元数据。云存储客户端结点在访问云存储服务的过程中，要多次访问元数据服务器，元数据服务器容易成为性能瓶颈。现在著名的云存储系统，包括Amazon公司的cloud drive，Google公司的google drive，均采用集中式的元数据访问方法。基于云存储客户端的元数据访问方法可支持访问多个异构的云存储系统，能够有效降低云数据访问的延迟。没有其它公开文献涉及云存储客户端的元数据访问方法。

键值对（简称key-value）数据库是关系数据库之外的一种新型数据库（见M Hentschel,M Grinev,D Kossmann.使用分布式键值对存储建立数据流.技术报告.苏黎世大学计算机系系统组.2011年。(Building Data Flows Using Distributed Key-Value Stores[R].Technical Report,Systems Group,Department of Computer Science,ETH Zurich,2011)），不支持关系数据库的SQL查询操作，主要通过put和get操作实现数据库的操作。数据库中的每条记录是一个键值对，键值对由两个元素键（一般称为key）和值（一般称为value）组成，key和value都是变长的字节序列。其中key和value既可以是二进制数据，也可以是文本字符串，但数据库中的key必须唯一。key-value数据库的所有记录可在内存中组织为Hash表或B+树，实现高效率的操作。目前比较流行的键值对数据库包括日本最大的社交网络服务网站Mixi公司开发的Kyoto Cabinet、美国的伯克利大学开发的Berkeley DB等。键值对数据库能提供持久化机制和数据同步等功能，具有高并发性能、高可扩展性以及高可靠性等特性，有望成为存储元数据的有效方法。

当前云存储系统的存储容量达数千T以上，文件的数量达数千万以上，同时在线的云存储客户端达数万。广域网通信的延迟较大，而元数据访问具有频率高但单次通信量小的技术特点，集中元数据访问方法的通信开销很大。新型的低延迟元数据访问方法是本领域技术人员极为关注的技术问题。

发明内容

本发明要解决的技术问题在于：针对云存储系统的元数据访问集中由云存储服务端管理，元数据服务器容易成为性能瓶颈，广域网较大的访问延迟和海量的在线用户将导致元数据访问响应慢等问题，结合元数据访问频率高但单次通信量小的特点，提出一种基于云存储客户端的元数据访问方法。