[发明专利]一种数据上传方法及系统

说明书

技术领域

本发明涉及数据传输技术领域，更为具体来说，本发明是一种数据上传方法及系统。

背景技术

近年来，随着大数据的应用与发展,传统小规模计算集群的能力已经不能适应对大数据处理的需要,而集成众多最新技术的超算中心对解决大数据问题具有巨大优势。随着远程超级计算技术发展和要求，大规模数据上传及高性能计算集群的出现，对计算速度和计算规模的要求越来越高。由于上传的数据量巨大，上传过程中经过的服务器及网络环节众多，因此，对数据上传效率、可靠性、安全性等方面提出了更高的要求。

对于传统的远程超算中心结构，采用面向连接的文件上传批量小文件和大文件是一件非常耗时的事情，常用的优化方法是采用多个小文件包装在一个数据集里整体上传，虽然这样能提高上传性能，但是需要用户主动将数据进行打包，当数据集比较大是非常耗费系统资源，并且当上传一个由大文件和小文件混合的目录时，打包也非常不合适，传统的上传方法存在着上传效率低下、上传批量上传小文件时存在负载过重的问题。

因此，如何提高数据上传效率、如何解决负载过重的问题，已成为了本领域技术人员亟待解决的技术问题和研究的重点。

发明内容

为解决现有的上传方法存在的上传效率低、重复上传等问题，本发明公开了一种数据上传方法及系统，从对数据文件处理的角度出发，创新地将数据文件分片和完整性管理，对数据片段进行传输和接收到的文件进行完整性校验，完成大数据的高速传输和增量数据传输，从而提高数据上传效率，解决上传批量小文件占用系统资源过大等问题。

为实现上述技术目的，本发明公开了一种数据上传方法，该方法包括如下步骤，

步骤1，读取数据文件；

步骤2，对所述数据文件进行数据分片操作、生成数据片段；

步骤3，对所述数据片段进行完整性管理操作；

步骤4，通过上传数据片段的方式上传数据文件；

步骤5，接收到所述数据片段后，校验接收到的所有数据片段的完整性。

本发明通过数据分片、完整性管理、上传数据片段、校验完整性操作解决了传统上传过程上传效率低的问题，特别对于批量小文件和大文件的上传，本发明极大地提高了大规模数据的上传效率；另外，本发明可有效地避免数据重复上传的问题，由于上传及时，本发明使超算作业可以进行实时提交。

进一步地，步骤1中，判断所述数据文件是否为首次上传：如果是，则步骤4中上传所有的数据片段；如果否，则步骤4中上传发生改变的数据片段。

本发明针对大规模远程超级计算中客户端数据重复上传带来的大量无用作业占用客户端或服务端的计算网络资源带来的数据上传效率低的问题，本发明对于已上传的数据文件，仅上传发生改变的数据片段，即本发明设计了基于任务-文件特征值列表以及文件-唯一特征值一一对应的文件增量上传方式，从而避免数据重复上传，提高了数据上传效率。

进一步地，步骤3中对待上传的数据片段进行编号；步骤5中，依据所述编号校验接收到的数据文件的完整性。

本发明采用了数据片段编号这种简单的方式，使得服务器对完整性的验证变得更为容易，使本发明更容易实施。

进一步地，步骤2中，对已生成的数据片段进行缓存操作；步骤5中，上传成功后，删除缓存中已经上传的数据片段。

通过客户端与服务器的通信，当服务器成功接收相关数据片段后，则通知客户端接受结果，客户端根据接收结果判断删除相关数据片段或重发数据片段；避免了冗余数据对客户端缓存的占用而影响其他的文件的上传工作。

进一步地，步骤2中，所述数据片段大小符合高速传输协议要求；步骤4中，基于高速传输协议并发上传数据片段。

本发明创新地将数据文件切割为符合高速传输协议要求的数据片段，为本发明能够高速地上传数据文件做了充足的准备。

进一步地，所述高速传输协议为无连接协议。

本发明针对大规模远程超级计算中上传单一超大文件及批量小文件传输速度低、受网络影响传输导致的稳定性差的问题，本发明基于无连接网络协议的可靠文件传输方法。提高网络传输速度，保证了文件传输的完整性。