[发明专利]一种小文件的定位方法及系统

说明书

技术领域

本发明涉及互联网领域，特别涉及一种小文件的定位方法及系统。

背景技术

随着互联网、物联网、云计算等高速发展，大量的互联网企业涌入人们的生活，很多互联网企业都会遇到海量小文件(Lost of Small Files，LOSF)的问题，例如，文本、图片以及音乐等，如此海量的小文件必然会要求更高的系统存取性能，以及会面临小文件的备份与恢复困难等问题。另外，社会化网络、移动通信、网络视频音频、传感器网络等各种应用产生的数据量很大，往往能够产生千万级、亿级甚至十亿、百亿级的海量小文件，而且大多海量小文件都是混合存储，因此，在元数据管理、访问性能、存储效率等方面面临着巨大的挑战。

目前，小文件的存储方法主要是采用多副本的方式进行备份并存储，对于海量的小文件来说，主要特点就是数据量大，同时存在大量的元数据，因此，在此种情况下，小文件的存储会占用大量的存储空间。另外，为了提供标准的文件目录结构，还需配备一个目录服务器，目录服务器多采用数据库或者目录树进行管理。

下面以现有技术中两种小文件系统为例，介绍现有技术中的小文件的存取方法。

第一种小文件系统主要通过将海量的小文件(如图片、文本等)打包进大文件进行存储，并通过多副本的方式来解决数据的可靠性，其中，用于存储多个小文件的大文件可称作一个Block，通常64MB大小，Block内部存储的每个文件用一个File id标识，下面将TFS中小文件存储的过程分两个步骤进行介绍。

小文件写的过程：

客户端向名称服务器(称为Name Server)发送写请求；

Name Server根据Block的负载情况，向客户端提供可用的Block、File id以及该Block所属的数据服务器(称为Data Server)；

客户端向相应的Data Server发送数据，Data Server通过管道运输(即pipeline)模式将数据复制到其他的Data Server。

小文件读的过程：

客户端通过编码将文件名转换为Block id和File id，然后向名称服务器(即Name Server)索要数据服务器(即Data Server)；

Data Server收到请求后，通过接收到的Block id和File id定位到Block的具体位置，并读取数据，将读取的数据返回客户端。

第二种小文件系统以Haystack为例，其针对存储图片的数量巨大的网站，Haystack的主要架构主要有三个部分：Haystack目录(即Haystack Directory)，Haystack存储(即Haystack Store)以及Haystack贮存区(即Haystack Cache)。其中，Haystack Store是物理存储节点，以物理卷轴的形式组织存储空间，每个物理卷轴一般很大(例如100GB)，每一个物理卷轴对应一个物理文件，因此，每个存储节点上的物理文件的元数据信息都很小，多个物理存储节点上的物理卷轴组成一个逻辑卷轴，用于备份，Haystack Directory用于存放逻辑卷轴和物理卷轴的对应关系。

下面将Haystack中小文件存储的流程分两个步骤进行介绍。

小文件写的过程(例如图片上传的过程)为：

网页服务器(称为Web Server)首先请求Haystack Directory获取图片的id和可写的逻辑卷轴，接着将数据写入对应的每一个物理卷轴，一般备份数为3；

小文件读的过程(例如图片下载或浏览的过程)为：

当用户访问一个页面时，Web Server请求Haystack Directory构造一个URL：http://<CDN>/<Cache>/<Machine id>/<Logical Volume，Photo>，后续根据各个部分的信息一次访问内容分发网络(Content Delivery Network，CDN)，Cache和后端的Haystack Store存储节点。

Haystack Directory的实现采用Replicated Database做持久化存储，前面增加一个Memcache集群满足查询需求。