[发明专利]一种面向多数据类型访问应用的分布式文件系统有效
申请号: | 201410151975.4 | 申请日: | 2014-04-16 |
公开(公告)号: | CN103942301B | 公开(公告)日: | 2017-02-15 |
发明(设计)人: | 郑然;周庭哲;金海;章勤 | 申请(专利权)人: | 华中科技大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 华中科技大学专利中心42201 | 代理人: | 梁鹏 |
地址: | 430074 湖北*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 多数 类型 访问 应用 分布式 文件系统 | ||
1.一种面向多数据类型访问应用的分布式文件系统,其特征在于,所述分布式文件系统的主结点中包含有多类元数据,其中:
每类元数据包含有元数据哈希表和相应的元数据控制结构体,每类元数据对应相应的数据类型,所述数据类型是根据数据访问特性进行分类的;每类元数据控制结构体用于针对相应的数据类型进行分类管理;
所述系统在接收到应用程序访问请求时,根据应用程序访问请求所需访问文件的类型确定相应类别的元数据控制结构体,将相应类别的元数据控制结构体的信息返回给应用程序,以使所述应用程序根据所述控制信息,在相应的数据存储结点中行相应的文件操作。
2.如权利要求1所述的系统,其特征在于,所述数据类型包括静态数据、流式数据、动态生成数据、动态增长数据以及日志文件类数据,所述元数据控制结构体的成员变量至少包括元数据类别ID、数据块大小、存储方式、备份块数量以及预取策略。
3.如权利要求2所述的系统,其特征在于,所述数据类型及相应的元数据控制结构体,具体为:
所述静态数据:其特性为一次写入,多次读;其对应元数据控制结构体中成员变量依次为:元数据类别ID为01;数据块大小范围为30M-60M;存储方式为连续存储;备份块数量为2-4个;预取策略为相邻数据预取;
所述流式数据:其特性为数据不断写入,处理完毕后流出系统;其对应元数据控制结构体中成员变量依次为:元数据类别ID为02;数据块大小为大于或等于60M;存储方式为连续存储;备份块数量为1个;预取策略为相邻数据预取;
所述动态生成数据:其特性为数据在系统运行中动态生成;其对应元数据控制结构体中成员变量依次为:元数据类别ID为03;数据块大小为:小于100M的按照自身大小分块,否则按100M分块;存储方式为本地存储;备份块数量为1个;预取策略为本地预取;
所述动态增长数据:其特性为在数据写入系统后,在数据的任何位置都有可能插入新的数据;其对应元数据控制结构体中成员变量依次为:元数据类别ID为04;数据块大小为10M-20M;存储方式为随机存储;备份块数量为1-2个;预取策略无;
所述日志文件类数据:其特性为数据定期动态生成并永久存储;其对应元数据控制结构体中成员变量依次为:元数据类别ID为05;数据块大小为3M-8M;存储方式为分散存储于不同结点;备份块数量为3-5个;预取策略无。
4.如权利要求1所述的系统,其特征在于,所述数据类型根据下述两种方案之一判断:
为文件添加扩展名,根据文件扩展名识别数据类型;或者,
为文件名添加前缀,根据文件名前缀识别数据类型。
5.如权利要求1至4任一项所述的系统,其特征在于,当所述应用程序访问请求为查找时:主结点接收到访问请求,确定数据类别,然后根据应用程序访问请求所需访问文件的文件名和文件偏移量在元数据哈希表中查找子结点编号和文件块编号;并读取所述数据类别对应的元数据结构体中数据块的大小信息;将上述子结点编号和文件块编号,以及数据块的大小信息返回给应用程序,以使应用程序到相应的数据存储结点读取数据。
6.如权利要求1至4任一项所述的系统,其特征在于,当所述应用程序访问请求为存储时:主结点接收到访问请求,确定数据类别,然后根据相应类别的元数据控制结构体中的存储信息,给应用程序需访问的文件分配存储结点,并且将元数据控制结构体中的块大小、存储方式、备份数量等信息返回,以便应用程序到相应的数据存储结点进行存储与备份。
7.如权利要求1至4任一项所述的系统,其特征在于,当所述应用程序访问请求为删除时:主结点接收到访问请求,确定数据类别,然后在相应元数据控制结构体中,删除文件到存储块的映射表和文件块号到子结点的映射表两个哈希表中与应用程序需删除的文件相关的表项。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华中科技大学,未经华中科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410151975.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:取放模具省力,浇注容易的水平分型脱箱造型机
- 下一篇:减震运输箱