[发明专利]一种超大视频文件断点上传的方法

说明书

本发明公开一种超大视频文件断点上传的方法，其包括以下步骤1：Web端上传视频文件；步骤2、判断Web端中视频文件是否存在；步骤3、多线程分片上传；步骤4、分片合并：步骤5、循环执行步骤1至步骤3，直到待上传的文件队列中不存在视频文件。本发明引入文件检索引擎（elasticsearch）来存储进度记录等文件信息，所有二次上传可以很容易恢复。并且elasticsearch具有数据存储量大、分布式、高扩展、高实时的等优点，所以本发明检索文件是否已经存在比现有发明来得快，并且支持更大并发。

技术领域

本发明属于文件上传领域，具体涉及一种超大视频文件断点上传的方法。

背景技术

随着5G的兴起，VR技术的日渐成熟，视频文件越来越多的趋向于3D化，全景化。不可免的造成视频文件大小几何级的增加，原来web端上传文件方法已经很难适用于上传1G或者nG以上的VR视频文件，以普通上传为例，如果上传中间断开，二次上传又重头开始。

对于Web端大文件上传，技术人员总结了一种分片上传方法，有很多的专利都是基于此改进，该方法计算文件全部内容的hash值记为文件特征值，通过反向代理（NGINX），传给后台程序判订文件是否存在，不存在的话Web端对文件切片，依次传给后台程序，全部传完后，Web端通知后台程序对所有分片进行和并。如“一种文件上传方法及装置”（申请号CN201610537914.0）”用的就是类似的方法。上述方法大体上满足文件上传的要求，但同时也存在问题，比如真实应用中前端计算文件特征值如果文件太大容易导致前端崩溃。又或者后端程序合并分片太多时又容易导致后台崩溃。当上传过程因网络问题停滞，重新上传时不会续传，而是从头上传，还有仅支持单文件上传，还有不满足二次上传恢复上传等等，其整体的上传效率速度有待改进。

发明内容

本发明的目的在于提供一种超大视频文件断点上传的方法。

为实现上述目的，本发明采用以下技术方案：

一种超大视频文件断点上传的方法，包括以下步骤：

步骤1：Web端上传视频文件：

1.1、用户上传的视频文件加入到Web端的待上传队列中；

1.2、Web端从待上传队列中取出该用户上传的视频文件，将此视频文件记作文件FILE，Web端计算文件FILE唯一文件特征值signatures；

步骤2、判断Web端中视频文件是否存在：

2.1、Web端用特征值signatures请求反向代理模块：

2.2、反向代理模块利用特征值signatures到文件检索引擎模块检索文件信息，如果文件检索引擎模块不存在该特征值对应的文件信息，用特征值signatures在文件检索引擎模块创建一个文件INFO，文件INFO包含分片信息和文件存储位置；

如果文件检索引擎模块存在该特征值对应的文件信息，则判断文件上传是否完整，如果文件上传完整，结束当前文件上传；如果文件上传不完整，将获取到的文件信息记作文件INFO；

2.3、反向代理模块将文件INFO返回给Web端；

步骤3、多线程分片上传：

3.1、Web端根据返回的文件INFO将视频文件按配置分片，比对文件INFO里面记录的分片信息，将不存在的分片，创建分片上传队列；

3.2、多线程发送给反向代理模块，反向代理模块调用系统命令存储分片；

3.3、分片存储成功，同时更新文件检索引擎模块中该文件INFO；

3.4、多线程执行步骤3.1-3.4，直到分片队列中不存在分片；

步骤4、分片合并：