[发明专利]一种联合文件系统文件负载均衡方法及装置

说明书

本发明公开了一种联合文件系统文件负载均衡方法及装置，在联合文件系统的多个层级目录中进行文件IO负载均衡，按照联合文件系统的次序，将各个层级的优先级映射到以[0,优先级总值]为端点的一条线段上，用于查找IO目标的标识在该线段中的位置所对应的层级目录；通过使用文件IO的路径作为哈希的主体，来进行一致性的哈希，保证了同一文件的IO总是发生在同一个层级，大大的提升了IO的效率，不需要进行复杂的文件发现和同步，该方法具有调度均衡，性能优秀的特点。

技术领域

本公开涉及计算机领域，具体涉及一种联合文件系统文件负载均衡方法及装置。

背景技术

联合文件系统是一种虚拟的文件系统，它并不具备真正的实体，而是通过将多个实体的文件系统聚合在一起，形成一个层级，构成的一个虚拟的文件系统，对这个文件系统的读写，将会映射到层级聚合的实体文件系统中。联合文件系统(UnionFS)是一种轻量级的高性能分层文件系统，它支持将文件系统中的修改信息作为一次提交，并层层叠加，同时可以将不同目录挂载到同一个虚拟文件系统下，应用看到的是挂载的最终结果。

联合文件系统是一种linux系统中常见的文件系统，这种文件系统的核心结构是将多个不同的目录挂载成一个独立的文件目录，在这个独立的文件目录中，文件分层级的存储在多个组成的目录中，上层的文件将遮盖下层的文件，当发生文件写入的时候，可以选择多种策略将文件分散在各个层级目录中。

联合文件系统中容易出问题的地方和主要是文件更新写入的性能比较低下，自带均衡方式在文件更新方面并没有太大的优势。

发明内容

本公开提供一种联合文件系统文件负载均衡方法及装置，在联合文件系统的多个层级目录中进行文件IO负载均衡的方法，该方法具有调度均衡，性能优秀的特点。

为了实现上述目的，根据本公开的一方面，提供一种联合文件系统文件负载均衡方法，所述方法包括以下步骤：

步骤1，为联合文件系统中的每一个层级目录设置一个IO优先级数值；

步骤2，收到文件IO请求时对IO目标文件的完整路径进行CRC计算，得到一个32bit的数据作为IO标识；

步骤3，将联合文件系统中所有层级的IO优先级的数值进行相加得到优先级总值；

步骤4，使用优先级总值对IO标识进行取整得到IO目标的标识；

步骤5，按照联合文件系统的次序，将各个层级的优先级映射到以[0,优先级总值]为端点的一条线段上；

步骤6，查找IO目标的标识在该线段中的位置所对应的层级目录；

步骤7，将该层级目录作为目标IO点执行本次文件IO。

进一步地，在步骤1中，所述IO优先级数值为人工设置，设置依据为：如果某个层级的存储介质访问速度为所有介质的70％到100％，就将这个层级的存储截至的IO优先级设为高，高的取值范围为70～100；如果某个层级的存储介质访问速度为所有介质的35％到70％，就将这个层级的存储截至的IO优先级设为中，中的取值范围为35到70；如果某个层级的存储介质访问速度为所有介质的0％到35％，就将这个层级的存储截至的IO优先级设为低，低的取值范围为1到35；数值在使用过程中可根据实际情况调整。这样能让更多文件的IO发生在IO优先级设为高的层级，获取更好的性能或者某个层级的存储介质更稳定，更健壮，IO优先级设为中、低的层级减少文件IO错误带来的影响。