[发明专利]一种基于HDFS的文件溯源FTP系统

说明书

本发明提供一种基于HDFS的文件溯源FTP系统，包括FTP服务端从客户端接收N个上传文件请求后发起N个并发线程，每一线程调用上传文件模块上传客户端发送的文件，每一线程对应一文件；上传文件模块上传文件到HDFS文件系统，所述上传文件模块确定文件已上传到HDFS文件系统后将调用历史记录模块；历史记录模块从文件流池中获取空闲的文件流，应用所述文件流将文件的上传信息写入历史记录文件中，所述上传信息用于文件溯源；文件流池，存储多个文件流的介质，每一文件流管理一个历史记录文件；HDFS文件系统，存储被上传文件的文件系统。应用FTP服务端往HDFS文件系统上传文件时可以在所述的历史记录文件中记录文件上传信息，便于后期维护时查看、溯源。

技术领域

本发明涉及分布式文件系统，尤其涉及一种基于HDFS的文件溯源FTP系统。

背景技术

移动互联网时代，移动通信行业的用户行为数据量激增，数据分析领域采用先进的大数据技术进行数据分析和数据访问工作。

Hadoop分布式文件系统被设计成适合运行在通用硬件上的分布式文件系统，它和现有的分布式文件系统有很多共同点。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。

HDFS-OVER-FTP是一个开源的，简单易用的实现了对HDFS文件系统的上传和下载的FTP服务器。但是现有技术中对上传文件没有历史记录，不便于后期维护查看。

发明内容

本发明要解决的技术问题，在于提供一种基于HDFS的文件溯源FTP系统，解决了现有技术中往HDFS文件系统上传文件后，后期无法维护和查看，无法进行溯源的问题。

本发明是这样实现的：一种基于HDFS的文件溯源FTP系统，包括FTP服务端、上传文件模块、历史记录模块、HDFS文件系统以及文件流池；FTP服务端从客户端接收N个上传文件请求后发起N个并发线程，每一线程调用上传文件模块上传客户端发送的文件，每一线程对应一文件；上传文件模块上传文件到HDFS文件系统，所述上传文件模块确定文件已上传到HDFS文件系统后将调用历史记录模块；历史记录模块从文件流池中获取空闲的文件流，如果暂时没有空闲的文件流，则等待一段时间再去获取，直至获得空闲的文件流，应用所述文件流将文件的上传信息写入历史记录文件中，所述上传信息用于文件溯源；文件流池，存储多个文件流的介质，所述每一文件流管理一个历史记录文件；所述历史记录文件的文件名可配置，通过在配置文件hdfs-over-ftp.properties中提供log_prefix-record_operations_put配置项来让用户自定义历史记录文件的文件名主体部分；HDFS文件系统，存储被上传文件的文件系统。

其中，若所述上传文件模块上传文件到HDFS文件系统失败，则返回错误信息至客户端，客户端重新发起上传文件请求。

其中，若所述上传文件模块上传文件到HDFS文件系统成功，则返回成功信息至客户系统。

其中，所述的上传信息包括所上传文件的文件名、开始上传时间、结束上传时间、上传成功与否标识。

其中，所述历史记录文件中所记录的各上传信息之间用符号间隔。

其中，所述文件流池为物理硬盘。

其中，所述文件流池的文件流数量可配置。

本发明的优点在于：

其一、应用所述的FTP服务端，往HDFS文件系统上传文件时可以在所述的历史记录文件中记录文件上传信息，便于后期维护时查看、溯源。

其二、所述的基于HDFS的文件溯源FTP系统实现并发的文件上传、下载功能，并发的记录上传信息，工作效率高，实时性好。

附图说明