[发明专利]一种文件并行传输的方法及系统

说明书

技术领域

本发明涉及云计算和数据统计技术领域，特别涉及一种文件并行传输的方法和文件并行传输的系统。

背景技术

在云计算和大数据统计过程中，对数据的交互传输速度有着很高的要求。但是目前的问题是数据的交互采用顺序传输，读取和发送使用同步进行的方式，从而占用了大量的时间，而统计则占用了较少的时间。这种情况就会导致在一个固定的时间内必须返回结果时，查找树又没有达到查找的最佳数据节点就返回了查找结果，可想而知返回的这种查找结果准确度不高。而且，传输数据的时间长会导致设备系统资源的利用效率低。

因此，有必要对数据交互的方式进行优化改善，以提高数据交互的速度和准确度。

发明内容

本发明鉴于上述情况而作出，其目的是提供一种文件并行传输的方法，该方法可以提高数据交互的速度和数据分析结果的准确度，提升了用户体验，同时降低用户的使用成本。

为实现上述目的，本发明的一个方面提供了一种文件并行传输的方法，包括如下步骤：获取待传输的文件的长度并设置传输线程的数量；分割文件；创建传输线程；创建目标文件；执行所述传输线程以传输多个文件片段；以及在所有传输线程传输完各自对应的文件片段时形成所述目标文件。

所述分割文件的步骤中，根据待传输文件的长度和设置的传输线程的数量将文件分割为多个文件片段，使得每个文件片段的长度小于预定数值；其中，采用Http协议的GET命令设置每个传输线程对应传输的文件片段。

所述创建传输线程的步骤还包括以下步骤：设置每个传输线程对应的文件片段的起始位置和结束位置并形成该文件片段的文件句柄；将每个传输线程对应的文件片段的文件句柄发送到接收端。

其中，所述创建目标文件的步骤是在文件传输的目标位置创建目标文件，该目标文件是空文件，用于存储多个传输线程所传输的文件片段。

所述执行所述传输线程的步骤进一步包括以下步骤：在传输对应的文件片段过程中，实时记录当前传输数据在所述文件中的数据位置；以及如果存在传输线程出错，则创建一个新的传输线程或者由其他线程根据出错线程记录的当前传输数据在所述文件中的数据位置进行断点续传。

根据本发明的另一方面，提供了一种文件并行传输的系统，包括：线程设置模块，用于获取待传输的文件的长度并设置传输线程的数量；文件分割模块，连接至所述线程设置模块，用于分割文件；线程创建模块，连接至所述文件分割模块，用于创建所述传输线程和目标文件；线程执行模块，连接至所述线程创建模块，用于执行所述传输线程以传输多个文件片段；以及文件处理模块，用于在所有传输线程传输完各自对应的文件片段时形成所述目标文件。

根据本发明的系统，可以提高数据交互的速度和数据分析结果的准确度，提升了用户体验，同时降低用户的使用成本。

优选的，所述文件分割模块根据待传输文件的长度和设置的传输线程的数量将文件分割为多个文件片段，使得每个文件片段的长度小于预定数值。

优选的，所述线程创建模块采用Http协议的GET命令设置每个传输线程对应传输的文件片段，并在创建所述多个传输线程之后进一步执行下述操作：设置每个传输线程对应的文件片段的起始位置和结束位置并形成该文件片段的文件句柄；以及将每个传输线程对应的文件片段的文件句柄发送到接收端。

优选的，所述线程执行模块还执行下述操作：在每个传输线程的执行过程中，实时记录当前传输数据在所述文件中的数据位置；和如果某个传输线程出错，则创建一个新的传输线程或者由其他线程根据出错线程记录的当前传输数据在所述文件中的数据位置进行断点续传。

优选的，所述文件处理模块在文件传输的目标位置创建目标文件，该目标文件是空文件，用于存储多个传输线程所传输的文件片段。

根据本发明提供的文件并行传输的方法，可以对数据交互进行优化改善，将数据的完整性进行拆分传输。即，使用多个传输线程对数据进行分割和断点续传，将对一个文件的顺序传输模拟成多个文件的同时传输的方式来实现，从而达到加速数据交互的目的。本发明通过续点连传的方式进行数据交互，提高数据交互的速度，留出更多时间用于数据分析。

根据本发明的方法，每个传输线程在传输对应的文件片段过程中，实时记录当前传输数据在所述文件中的数据位置，并且在有所述传输线程出错时，创建一个新的传输线程或者由其他线程根据出错线程记录的当前传输数据在所述文件中的数据位置进行断点续传。