[发明专利]大文件多线程FTP上传方法

说明书

本发明涉及网络数据上传技术领域，是一种大文件多线程FTP上传方法，包括第一步，获取源文件；第二步，监听源文件；第三步，判断是否有上传文件；第四步，将上传文件切割成多个文件块；第五步，计算用户机器的最大线程数；第六步，文件自动上传；第七步，验证文件是否完整；第八步，文件块全部传输完成，服务端程序合并文件块，并将文件和现有系统数据关联。本发明实现了自动上传文件，无需专人值守，且支持断点续传，在上传文件过程中出现错误，无需用户操作，待网络通畅后会自动续传文件，达到了智能化、自动化的目的。通过多线程并发上传比单线程上传速率更快，最大化地利用客户端计算机的性能，使上传效果达到最佳，满足了客户的要求。

技术领域

本发明涉及网络数据上传技术领域，是一种大文件多线程FTP上传方法。

背景技术

随着卡口监控、执法仪、记录仪、航拍仪等移动监控设备的增多普及，视频文件的管理存在文件存贮问题，再者视频文件与现有的信息系统结构化数据进行关联成为了重要需求，因此需要在现有信息系统中增加文件上传功能。

现有信息化系统多数是web形式系统，因此通常web形式的文件上传使用的是http协议方式或者使用ftp客户端工具上传，而视频监控设备记录的视频文件小则几百兆，大则几十G甚至几百G，但是使用http上传存在问题：因http文件上传是一次性将整个文件加载到内存，一个页面一旦进行了文件上传，那这个页面基本不能进行其他操作，一旦网络出现异常，需要用户重新选择文件进行上传，单请求上传在网络不好的情况下速率低；使用ftp客户端工具上传存在问题：ftp客户端工具只能上传文件，不能将文件信息和系统信息关联，ftp客户端工具上传文件时，出现网络中断，则需要人为手动再次上传；大多数的ftp客户端工具上传文件是单线程上传，传输效率较低；ftp客户端工具传输过程中如果发生错误，不会自动补传丢失文件。

发明内容

本发明提供了一种大文件多线程FTP上传方法，克服了上述现有技术之不足，其能有效解决现有的大文件单线程上传存在传输速率低的问题；更进一步解决了大文件传输过程中出现错误，则需重新选择文件进行上传的问题。

本发明的技术方案是通过以下措施来实现的：一种大文件多线程FTP上传方法,包括以下步骤：

第一步，获取源文件；上传服务程序配置一个自动上传的文件夹作为源文件，用户将待上传的文件拷贝到该文件夹；

第二步，监听源文件；上传服务程序采用轮询调度的方式监听该文件夹；

第三步，判断是否有上传文件，若有，则进入第四步，如果没有，则返回第二步；

第四步，将上传文件切割成多个文件块；切割文件包括以下过程：

（1）获取文件的大小；

（2）确定文件块大小；上传服务程序根据机器性能配置每个文件块大小，若不需要配制文件块大小，则设置默认值；

（3）计算切割的文件块数，公式如下：

文件块数=文件大小/配置的文件块大小

文件块数的计算结果采用进一法取整；之后进入第五步；

第五步，计算用户机器的最大线程数；获取机器的空闲内存大小，根据空闲内存大小和配置的文件块大小计算机器能同时开启的最大线程数，最大线程数计算公式如下：

最大线程数=机器空闲内存大小/配置的文件块大小

最大线程数的计算结果采用去尾法取整；

第六步，文件自动上传，包括以下过程：

（1）根据同时开启的最大线程数，自动启动多线程上传文件块；