[发明专利]数据切分的传输装置与系统

说明书

技术领域

本申请涉及数据传输的系统，具体涉及一种数据切分的传输装置与系统。

背景技术

随着网络流量的快速成长，许多过去不容易实现的服务也可以被轻易的完成。例如：宽带的上传多媒体文件(multimedia file)。由于海量的传输仍会影响本地端的负荷量。因此在已知的多媒体本地端也会具备带宽管理(Bandwidth Manager)的功能。本地端可以透过带宽分布或缓存等方式减轻同时间的资料传输量。

此外，所述的传输方式更结合了多个实体磁盘，使得数据可以同步的写入所述磁盘中。而现有技术对数据写入磁盘的方式，是将数据同步的由来源端写入本地端中。本地端会暂存这些数据文件。之后，本地端在将这些数据文件分批的写入实体磁盘。

这种写入的方式的实现成本低廉且快速。但是数据写入的过程中若发生错误，则数据只能重新写入。因此数据重新传输的时间就会拉长，而且也会增加网络带宽的负载。此外，同一份数据文件除了要从客户端中重新载入，而且也要在本地端内部重新传输，也会导致数据重新传输的时间拉长，增加网络带宽的负载。

发明内容

本申请所要解决的技术问题在于提供一种数据切分的传输装置，避免数据文件在写入磁盘阵列时所发生错误，导致重新传输数据文件而延长数据存储和传输时间，加重网络带宽负载。

为了解决上述问题，本申请揭示了一种数据切分的传输装置包括：接收模块，用于接收客户端的数据文件；内存模块，连接于所述接收模块，所述内存模块用于存储数据文件；分散式文件装置，用于存储目标文件；处理模块，连接于所述接收模块、所述内存模块与所述分散式文件装置，所述处理模块为接收模块接收到的数据文件创建相应的内部队列，每一所述内部队列用于存储对应的数据文件的路径资讯；所述处理模块，还用于根据内部队列中的路径资讯将所述数据文件切分为多个切分片段，并行读取每一切分片段并且将所述每一切分片段分别写入分散式文件装置中的目标文件。

进一步地包括所述接收模块透过英特网络或区域网络连接于客户端。

进一步地包括所述处理模块还用于生成多个工作线程，所述工作线程的数量与对应的数据文件的切分片段的数量相同；由每一工作线程并行读取每一切分片段并且将所述每一切分片段同时写入分散式文件装置中的目标文件。

进一步地所述处理模块进一步监视所述内部队列与所述数据文件是否有异动。

进一步地包括分散式文件装置的种类包括：磁盘、磁带或网络存储设备。

为了解决上述问题，本申请揭示了一种数据切分的传输系统，包括：客户端，用于上传数据文件；本地端，透过英特网络或区域网络连接于客户端，所述本地端包括分散式文件装置，所述本地端为接收的所述数据文件创建相应的内部队列，并将接收的所述数据文件存储于所述内部队列中，所述本地端在将数据文件切分为多个切分片段之后，并行读取所述切分片段并将所述切分片段同时写入所述分散式文件装置中的目标文件。

进一步地包括至少一心跳服务器，所述心跳服务器连接于所述本地端，所述本地端向心跳服务器发送心跳要求，所述心跳服务器向所述本地端发送回应讯息。

进一步地包括所述心跳服务器轮流的接收自于所述控制模组的所述心跳要求。

进一步地包括所述本地端记录所述数据文件的每一切分片段的起始位置与偏移量。

与现有技术相比，本申请可以获得包括以下技术效果：

1）本申请改进数据文件的传输过程，数据文件写入时若发生错误，本申请不需重新从客户端中取得数据文件。

2）本申请若于传输数据文件的期间中发生错误，本申请可以透过至少一台心跳服务器发报给后台人员，使得后台人员可以实时的得知何项组件发生异常。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1A是本申请实施例的系统架构示意图。

图1B是本申请实施例的本地端架构示意图。

图2是本申请实施例的运作流程示意图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。