[发明专利]面向广域网络文件系统的自适应快速增量预读方法有效
申请号: | 202010470526.1 | 申请日: | 2020-05-28 |
公开(公告)号: | CN111787062B | 公开(公告)日: | 2021-11-26 |
发明(设计)人: | 肖利民;常佳辉;秦广军;霍志胜;宋尧;周汉杰;徐耀文;王超波 | 申请(专利权)人: | 北京航空航天大学 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;H04L29/06;G06F16/16;G06F16/172 |
代理公司: | 北京海虹嘉诚知识产权代理有限公司 11129 | 代理人: | 吴小灿;张涛 |
地址: | 100191*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 面向 广域 网络 文件系统 自适应 快速 增量 方法 | ||
1.一种面向广域网络文件系统的自适应快速增量预读方法,其特征在于,客户端对用户指定数量的文件维护一个预读缓存块,当文件读请求由Fuse内核模块处理转至客户端时,客户端根据保存的缓存上下文决定是否新增缓存块大小或是替换缓存块,以及预取内容的大小;当文件访问服务节点接收到文件请求后,根据已知的客户端预取模式,判断客户端是否开启预读,若已开启则同样对文件预取保存在主存中以便快速响应文件的预取请求。
2.根据权利要求1所述的方法,其特征在于,包括以下步骤:
1)在访问文件数据时,客户端首先向管理节点获取访问的文件元数据信息,包括文件位置、用户信息、空间名称;根据空间局部性缓存全局元数据,根据远程访问的反馈信息动态更新全局元数据缓存;
2)根据客户端文件缓存的文件内容,确定是否需要对该文件新增缓存控制块,或更新文件缓存控制块;
3)查找文件缓存块中是否保存有相应的缓存内容,若存在缓存内容则取出缓存内容返回给应用程序,若无缓存内容则进行异步缓存预取;
4)基于文件请求的偏移量以及长度判定文件是否需要预取,若文件需要预取则根据访问文件块位于访问窗口和预取窗口的位置判定预取文件的大小;
5)文件数据服务器接受到数据请求访问后,采用同样的缓存控制块组织结构,判断客户端是否开启预读,如果开启预读则将预取块放入主存中便于快速响应客户端请求;
6)客户端异步预取结果返回后比对缓存控制块中的时期指示符,若异步获取的文件块已超期,则弃用,否则保存在文件缓存块中。
3.根据权利要求2所述的方法,其特征在于,所述步骤1)包括全局元数据的缓存和更新的步骤:
步骤(1.1)客户端向网络文件系统的管理节点请求文件的全局元数据信息;
步骤(1.2)客户端判断本地是否保存有该文件的全局元数据信息;
步骤(1.3)若本地没有缓存全局元数据信息,则客户端向网络文件系统的管理节点请求全局元数据信息,并将请求回来的结果进行缓存,如果缓存大小超过设定的阈值,则采用LRU的算法对缓存进行替换;
步骤(1.4)若本地缓存有全局元数据信息,则客户端访问缓存的全局元数据获取数据服务器的位置,并向远程的存储节点发送文件数据请求;
步骤(1.5)判断存储节点上是否包含对应的数据空间;
步骤(1.6)若远程的存储节点上存在相应的数据空间,则访问相应的文件获取数据并返回到客户端;
步骤(1.7)若远程的存储节点上不存在相应的数据空间,说明缓存已经过期,则向网络文件系统管理节点请求全局元数据信息,访问远程存储集群获取文件数据并更新全局元数据缓存。
4.根据权利要求2所述的方法,其特征在于,所述步骤2)包括以下步骤:
步骤(2.1)向远程存储节点发送数据请求前,先按文件名做关键字查找客户端数据缓存;
步骤(2.2)若客户端缓存模块并未对该文件进行缓存,且缓存控制块的数量未达到阈值,则新增文件缓存控制块,记录本文件的缓存块的控制信息;
步骤(2.3)若客户端缓存模块未对该文件进行缓存,且缓存控制块的数量已经达到阈值,则按照LRU算法对缓存控制块进行替换。
5.根据权利要求2所述的方法,其特征在于,所述步骤3)包括以下步骤:
步骤(3.1)缓存控制块中保存有缓存的文件块的起始位置和长度;若请求的文件块起始地址小于缓存块的起始地址或者大于缓存块起始地址加长度,则意味着请求块未被缓存,向远程存储节点发送访问请求;
步骤(3.2)若文件请求起始位置落在已确定缓存的区域,且数据已经异步读取到客户端,那么向客户端返回缓存的文件块区域;若请求仍有未完成的部分,那么继续向远程存储节点发送访问请求;
步骤(3.3)若文件请求起始位置落在已确定缓存的区域,而有部分数据尚未读取到客户端,那么等待一段异步预取返回数据的时间,如果仍未拿到数据则直接向远程存储节点发送访问请求。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京航空航天大学,未经北京航空航天大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010470526.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据传输的方法和装置
- 下一篇:一种切口撑开器