[发明专利]一种多节点文件传输系统智能选择文件传输模式的方法

说明书

本发明公开一种多节点文件传输系统智能选择文件传输模式的方法。本发明通过通过客户端的本地数据块与服务端的远端数据块进行匹配，可以选择最优的传输模式，在少量修改文件的情况下，通过使用增量传输模式，降低了网络带宽要求，增加了传输速度；当文件修改较大的时，采用全同步传输模式，保障了系统的兼容性。本地数据块或远端数据块从待传输文件的前端、尾端分别开始划分，极大的保证了远端数据块与本地数据块对比的有效性，对比更加高效。

技术领域

本发明涉及文件传输技术领域，尤其涉及一种多节点文件传输系统智能选择文件传输模式的方法。

背景技术

高可用多节点文件传输系统是由客户端和服务端组成的具有高速传输，异常快速恢复传输，千万级文件传输系统。客户端由一个客户端控制节点和多个客户端传输节点组成，每一个节点都有存储器。服务端由redis服务端、一个服务端控制节点和多个服务端传输节点组成，每一个节点都有存储器。

目前的高可用多节点文件传输系统中，大多采用文件全同步或文件增量同步单种传输模式。文件增量同步是指传输的文件已经在服务端存在，通过本地文件和服务端文件数据块的校验，只传输文件修改的部分，相对文件全同步来说减少了数据传输部分，多了数据块校验部分。在应用中发现，文件修改较小的情况下增量同步速度优于全同步。反之，文件数据修改较大全同步速度优于增量同步。

高可用多节点文件传输系统的问题是，支持单种传输模式无法达到速度的最大化，如果采用两种传输模式，很难决定什么时候用全同步什么时候用增量同步；目前为了保障高可用多节点文件传输系统能够正常工作，大部分采用单一传输模式作为传输方式方式。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明要解决是技术问题是：提供一种多节点文件传输系统智能选择文件传输模式的方法，智能选择传输模式，采用最佳的传输模式进行文件传输。

本发明的技术方案如下：提供一种多节点文件传输系统智能选择文件传输模式的方法，多节点文件传输系统包括：客户端，与客户端连接的服务端；包括以下步骤。

S1：客户端向服务端请求待传输文件的信息。

S2：服务端将待传输文件是否已经存在服务端、文件大小、文件修改时间返回给客户端。

S3：客户端判断返回的文件信息；如果文件不存在，则直接使用全同步传输模式；如果客户端中的待传输文件的文件修改时间、文件大小与服务端中的文件修改时间、文件大小一致，则不传输待传输文件；如果都不成立，客户端向服务端请求存储在服务端中的待传输文件的信息。

S4：服务端收到请求后，将存储在服务端中的待传输文件分成若干远端数据块并编号，计算远端数据块的MD5值，远端数据块的大小为200-3000字节；回传远端数据块的信息给客户端。

S5：客户端根据收到的服务端传来的远端数据块信息，客户端从待传输文件的开始位置和/或结束位置读取远端数据块大小的数据，获得本地数据块，并计算本地数据块的MD5值，并将本地数据块的MD5值与步骤S4中的远端数据块的MD5值匹配；如果匹配成功率大于60％，则采用增量同步模式传输，否则采用全同步模式传输。

进一步地，在步骤S5中，每次移动远端数据块大小的4-13倍长度在客户端的待传输文件上选取本地数据块进行计算MD5值。

进一步地，在步骤S5中，每次移动远端数据块大小的6-10倍长度在客户端的待传输文件上选取本地数据块进行计算MD5值。

进一步地，在步骤S5中，取远端数据块总数的0.4％-6％为匹配次数。

进一步地，所述数据块的取值为500～1000字节。