[发明专利]用户空间文件系统读写优化方法、系统、终端及存储介质

说明书

本发明涉及文件存储系统技术领域，具体提供一种用户空间文件系统读写优化方法、系统、终端及存储介质，包括：监控用户空间文件系统的挂载盘的数据量；如果所述数据量达到设定的数据阈值，则调用脚本关闭更新文件数据库服务；重启定时服务，以使关闭更新文件数据库服务的操作生效。本发明通过对用户空间文件系统的挂载数据进行监控，一旦监控到挂载的数据量过大，则关闭更新文件数据库服务，避免用户空间文件系统不断遍历挂载目录导致读写性能下降，能够有效优化用户空间文件系统的读写性能。

技术领域

本发明涉及文件存储系统技术领域，具体涉及一种用户空间文件系统读写优化方法、系统、终端及存储介质。

背景技术

HDFS文件操作有两种方式：一种是命令行方式，Hadoop提供了一套与Linux文件命令类似的命令行工具；另一种是Java API，即利用Hadoop的Java库，采用编程的方式操作HDFS的文件。

在开发系统的时候，我们会对HDFS进行数据读写操作的需求。如果我们自身的系统是用Java开发的，那么直接用HDFS的Java API就可以了；而如果系统本身采用的是C++或C语言开发的，那么使用HDFS的C接口就有些头疼了。主要原因在于HDFS的C接口是基于jni的，这意味着我们在部署的时候会不那么的直观。在这种情况下，用Linux Fuse的功能将HDFS挂在到本地的文件系统下会是一个非常好的选择。在挂载成功后，就可以用原生的文件API来访问HDFS，所以从易用性的角度而言，FUSE仍旧应该是最好的选择。

当HDFS的数据量达到PB级别以上，且小文件和目录比较多，如果通过Fuse将HDFS挂载到linux本地后，此时updatedb每天默认运行就会遍历所有的本地文件包括HDFS挂载到本地的文件目录，大量的遍历访问占用大量磁盘IO和网络IO，造成业务程序读写HDFS缓慢。

发明内容

针对现有技术的上述不足，本发明提供一种用户空间文件系统读写优化方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种用户空间文件系统读写优化方法，包括：

监控用户空间文件系统的挂载盘的数据量；

如果所述数据量达到设定的数据阈值，则调用脚本关闭更新文件数据库服务；

重启定时服务，以使关闭更新文件数据库服务的操作生效。

进一步的，监控用户空间文件系统的挂载盘的数据量，包括：

创建数据量监控进程，所述监控进程定期监控所述用户空间文件系统的挂载盘，如果监控到所述挂载盘为分布式文件系统则向所述分布式文件系统发送读取数据量的请求。

进一步的，如果所述数据量达到设定的数据阈值，则调用脚本关闭更新文件数据库服务，包括：

预先编辑脚本并将所述脚本保存至指定路径，所述脚本包括关闭文件数据库服务的命令；

授予所述脚本执行权限，在确认所述数据量达到设定的数据阈值之后，调用指定路径下的脚本关闭更新文件数据库服务。

进一步的，在重启定时服务，以使关闭更新文件数据库服务的操作生效之后，所述方法还包括：

如果监控到所述用户空间文件系统的挂载盘更新，更新后的挂载盘不存在分布式文件系统，则开启更新文件数据库服务。

第二方面，本发明提供一种用户空间文件系统读写优化系统，包括：

数据监控单元，用于监控用户空间文件系统的挂载盘的数据量；

服务关闭单元，用于如果所述数据量达到设定的数据阈值，则调用脚本关闭更新文件数据库服务；

操作生效单元，用于重启定时服务，以使关闭更新文件数据库服务的操作生效。