[发明专利]高性能文件传输系统及方法

说明书

技术领域

本发明涉及网络数据传输技术领域，尤其涉及一种高性能文件传输系统及方法。

背景技术

当前，华大基因研究院拥有世界级的基因测序能力，每日生成的数据多达几十TB(1024GB)；对数据的传输提出了较高的要求。此外，分布于中国各地和海外的分中心与总部之间的数据同步，也对带宽利用率提出了非常高的要求。

虽然经过30余年的发展，海底光缆技术已经日益成熟，但是远程网络传输所引入的信号延迟仍然无法避免。特别是在远距离传输中(如光信号从北京传往纽约至少会引入60ms的延迟)，传统的TCP协议因信号延迟原因而严重恶化了传输技术的性能。而且随着带宽时延产品(BDP，Band Delay Product)的增加，TCP协议开始变得低效(这是由于AIMD算法彻底减少了TCP协议的拥塞窗口，但不能快速的恢复可用带宽；理论上，流量分析表明TCP在BDP增加到很高的时候比较容易遭受包损失攻击)，无法完成高效的传输任务。

因此，传统的基于TCP协议的文件传输系统及方法在速度和可靠性方面将无法满足日益增长的大数据量、远距离、实时传输需要，成为制约网络数据传输技术领域快速发展的瓶颈。

综上所述，提供一种高性能文件传输系统及方法成为本领域亟待解决的技术问题。

发明内容

本发明要解决的一个技术问题是提供一种高性能文件传输系统及方法，通过构造具有相应功能的TCP协议服务器和UDT协议服务器，充分利用了网络硬件的性能，实现了大数据量远距离传输的低延时性能。

本发明的一个方面提供了一种高性能文件传输系统，本发明提供的高性能文件传输系统的一个实施例中，该系统包括：高速传输TCP服务器，用于在套接字层，通过libevent事件触发网络库实现异步非阻塞网络模式，以达到高并发的要求；当有客户端发出请求时，将请求封装成事件通知，然后根据客户端的控制连接句柄对会话线程总数直接取余进行哈希，将事件通知分配到不同会话线程的任务队列中；从任务队列中取出事件通知，然后调用有限状态机进行处理并获得相应的应答码，通过套接字层返回给客户端；当会话请求需要从磁盘读写数据时，则将相应信息封装成通知事件后加入磁盘处理线程的任务队列，磁盘处理线程则一次性在磁盘和缓存之间进行大块文件的读写，再由会话线程多次从缓存中调用数据，通过套接字层多次和客户端交互；高速传输UDT服务器，建立用于监听的主线程，以及处理命令、读写文件和压缩数据的三个线程池；当有用户请求时，主线程将任务分给处理命令线程池中的一个空闲线程处理，空闲线程建立一个新的线程来处理数据连接以传输数据；当读写文件时，处理数据线程与读写文件线程、压缩数据线程之间执行同步的通信协作；非文件读写操作则由数据连接线程直接处理。

本发明提供的高性能文件传输系统的一个实施例中，高速传输TCP服务器进一步包括：TCP接口模块，用于在套接字层，通过libevent事件触发网络库实现异步非阻塞网络模式，以达到高并发的要求；根据控制连接的句柄进行哈希，将数据分配给不同会话线程的任务队列；会话管理器，用于从任务队列中取出数据，然后调用有限状态机进行处理并获得相应的应答码，通过套接字层返回给客户端；由会话线程多次从缓存中调用数据，通过套接字层多次和客户端交互；磁盘管理器，用于当会话请求需要从磁盘读写数据时，则将相应信息加入磁盘处理线程的任务队列，一次性在磁盘和缓存之间进行大块文件的读写。

本发明提供的高性能文件传输系统的一个实施例中，高速传输UDT服务器进一步包括：UDT接口模块，用于接收用户请求，以及与客户端交互并向客户端传输压缩后的数据；会话处理模块，建立用于监听的主线程，以及处理命令、读写文件和压缩数据的三个线程池；当有用户请求时，主线程将任务分给处理命令线程池中的一个空闲线程处理，空闲线程建立一个新的线程来处理数据连接以传输数据；当读写文件时，数据线程与读写文件线程、压缩数据线程之间执行同步的通信协作；非文件读写操作则由数据连接线程直接处理；磁盘管理器，用于压缩需要传输的数据；在压缩的时候提供用于存放压缩前数据和压缩后数据的两块工作空间，在解压的时候仅提供一块工作空间。

本发明提供的高性能文件传输系统的一个实施例中，高速传输TCP服务器采用全异步架构模式。

本发明提供的高性能文件传输系统的一个实施例中，高速传输UDT服务器采用同步阻塞模式。

本发明提供的高性能文件传输系统的一个实施例中，采用LZO压缩算法对文本类型文件进行压缩。