[发明专利]一种大文件上传及下载处理方法

说明书

本发明涉及一种大文件上传及下载处理方法，首先搭建一个文件服务器，并在服务器上安装文件系统数据库用于存储大数据量文件；在文件服务器上定义文件命名规则，为每个存储的文件定义唯一的FILE_ID名，然后将这个FILE_ID储存到数据库表里；再建立web服务器并与上述搭建的文件服务器相连接，并在web服务器上设置文件上传接口、文件下载接口，用户通过浏览客户端上可进行文件上传请求依次经过web服务器后从文件服务器中并按自定义规则命名存储到文件系统数据库中，在下载请求时会根据已命名文件经过web服务器后从文件系统数据库中筛选。本发明提供了一种占用资源少，相应速度快、调用高效便捷的大文件上传及下载处理方法。

技术领域

本发明涉及计算机文件处理方法，具体涉及一种大文件上传及下载处理方法。

背景技术

随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。我们需要解决的是客户上传文件的存储问题，上传文件的数量可能达到一天300到 8000个。传统的大文件处理方式已经不能满足现状。因此，寻求有效的大数据处理技术、方法和手段已经成为现实世界的迫切需求。

传统的处理方式：一种是将上传的文件可以放在数据库中，另外也可以在数据库里存个文件名，然后把文件实体存到文件系统中；但是，传统的方法存在以下问题：如果大文件存数据库的话，访问量很大，读取文件内容时候会比较占用资源，降低数据库的性能，如果存本地文件的话，硬盘需要频繁读取目录表，这样也会降低性能。

发明内容

本发明目的是为了克服现有技术的不足而提供的一种占用资源少，相应速度快、调用高效便捷的大文件上传及下载处理方法。

为达到上述目的，本发明采用如下技术方案。

为便于本技术方案的表述，对下面涉及到的专业术语作如下解释：MongoDB是指基于分布式文件存储的数据库；FILE_ID是指存储文件地址名；web服务器是指网站服务器；submit是指文件提交；ObjectId是指存储的每个文件的唯一标识号。

一种大文件上传及下载处理方法，包括如下具体步骤：

步骤一：首先搭建一个文件服务器，并在服务器上安装MongoDB文件系统数据库（既分布式文件存储的数据库）用于存储大文件数据；

步骤二：在文件服务器上自定义一套文件命名规则，为每个存储的文件定义一个FILE_ID ，一个文件对应唯一的FILE_ID名，然后将这个FILE_ID储存到数据库表里；

步骤三：再建立一个web服务器并与所述步骤二中的文件服务器相连接，并在web服务器上设置好上传和下载的接口；

步骤四：在浏览客户端执行文件的上传操作请求时，在浏览客户端的页面中写了一个表单和一个submit类型的按钮，将整个表单内容提交，web服务器获得我们提交的文件，然后调用上传文件的接口，这样大文件通过这个接口会直接上传到MongoDB文件系统中，同时得到这个文件在MongoDB文件系统数据库中的ObjectId并把这个ObjectId存储在数据库表中；

步骤五：在浏览客户端执行文件的下载操作请求时，web服务器通过获取这个请求信息得到这个要下载文件的ObjectId,然后通过web服务器的下载文件接口，把这个ObjectId作为参数传递到文件服务器，就能从MongoDB文件系统数据库中下载我们需要的文件。

作为本发明的进一步改进，所述文件服务器具有不少于2T的存储扩容空间。

作为本发明的进一步改进，所述所述浏览客户端为手机或电脑浏览客户端。