[发明专利]一种分布式文件处理方法及装置有效
申请号: | 201611265985.6 | 申请日: | 2016-12-30 |
公开(公告)号: | CN107070972B | 公开(公告)日: | 2020-02-07 |
发明(设计)人: | 徐景良;万杰;倪远;任明 | 申请(专利权)人: | 中国银联股份有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;H04L29/06;H04L12/24 |
代理公司: | 11291 北京同达信恒知识产权代理有限公司 | 代理人: | 黄志华 |
地址: | 200135 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文件系统 元数据服务器 文件读写 集群 共享目录 发送 挂载 存储 终端 数据处理技术 分布式文件 接收终端 操作系统 耗时 | ||
1.一种分布式文件处理方法,其特征在于,包括:
元数据服务器接收终端发送的文件读写请求,所述文件读写请求是根据所述终端挂载的所述元数据服务器的共享目录发送的;
所述元数据服务器根据所述共享目录挂载的文件系统,向所述文件系统的存储集群发送所述文件读写请求,所述元数据服务器与所述存储集群位于同一文件系统集群中。
2.如权利要求1所述的方法,其特征在于,所述元数据服务器包括主节点服务器和备节点服务器;
所述元数据服务器接收终端发送的文件读写请求,包括:
所述主节点服务器接收终端发送的文件读写请求;
所述元数据服务器接收终端发送的文件读写请求之后,还包括:
所述主节点服务器在确定所述文件读写请求为多个文件的读写请求时,根据所有元数据服务器的工作量,确定出处理所述文件读写请求的备节点服务器;
所述主节点服务器将所述文件读写请求通过内部传输通道发送给所述备节点服务器。
3.如权利要求2所述的方法,其特征在于,所述根据所有元数据服务器的工作量,确定出处理所述文件读写请求的备节点服务器,包括:
针对一个元数据服务器,所述元数据服务器根据以下公式计算所述元数据服务器的工作量:
Gk=Nk*Tk
其中,Nk为第K元数据服务器的缓存中存储的文件读写请求的数量,Tk为第K元数据服务器处理缓存中所有的文件读写请求所需的总时间,Gk为第K元数据服务器的工作量。
4.如权利要求1所述的方法,其特征在于,所述元数据服务器的对外存储服务IP为同一虚拟IP;所述元数据服务器包括主节点服务器和备节点服务器;
还包括:所述主节点服务器将所述主节点服务器的服务访问端口与所述虚拟IP进行绑定。
5.如权利要求1所述的方法,其特征在于,还包括:
所述元数据服务器接收集群监控器的状态变更信息,所述集群监控器属于所述文件系统集群。
6.如权利要求1至5任一项所述的方法,其特征在于,还包括:
所述元数据服务器向所述文件系统集群中的任一元数据服务器发送检测报文,以确定所述任一元数据服务器的工作状态。
7.如权利要求6所述的方法,其特征在于,所述元数据服务器向所述文件系统集群中的任一元数据服务器发送检测报文,包括:
所述元数据服务器发送ICMP数据包;或,
所述元数据服务器监控所述任一元数据服务器的服务访问端口的状态;或,
所述元数据服务器监控所述任一元数据服务器的服务可用性。
8.如权利要求6所述的方法,其特征在于,所述共享目录由网络文件系统NFS提供。
9.一种分布式文件处理装置,其特征在于,包括:
接收模块,用于接收终端发送的文件读写请求,所述文件读写请求是根据所述终端挂载的元数据服务器的共享目录发送的;
发送模块,用于根据所述共享目录挂载的文件系统,向所述文件系统的存储集群发送所述文件读写请求,所述元数据服务器与所述存储集群位于同一文件系统集群中。
10.如权利要求9所述的装置,其特征在于,所述元数据服务器包括主节点服务器和备节点服务器;
所述主节点服务器还包括处理模块,用于:
在确定所述文件读写请求为多个文件的读写请求时,根据所有元数据服务器的工作量,确定出处理所述文件读写请求的备节点服务器;
将所述文件读写请求通过内部传输通道发送给所述备节点服务器。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国银联股份有限公司,未经中国银联股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611265985.6/1.html,转载请声明来源钻瓜专利网。