[发明专利]一种大数据的传输系统、传输方法及其业务系统

权利要求书

1.一种大数据的传输系统，其特征在于，包括：消息服务器，管理控制台，传输代理，其中，

所述传输代理，包括发送代理和接收代理，所述发送代理，用于扫描源业务系统的数据文件并生成传输文件，并将该传输文件传送给接收代理；所述接收代理，用于接收发送代理传送的数据文件，并还原数据文件，提交给目标业务系统；

所述消息服务器，用于为系统的模块提供消息服务，所述传输代理与管理控制台之间通过该消息服务器进行通讯；

所述管理控制台，提供管理界面，供用户监控和管理传输任务和传输代理。

2.如权利要求1所述的系统，其特征在于，所述发送代理，包括：发送前业务处理模块，发送队列，发送前数据处理模块，和发送模块；其中：

所述发送前业务处理模块，用于源业务数据扫描和数据压缩，并将压缩包文件保存到发送目录中，并生成待发送的传输任务信息；

所述发送队列是一个先进先出队列，用于在内存中存储待发送的传输任务信息；

所述发送前数据处理模块，用于消费从所述发送队列中的传输任务，并进行数据处理，数据处理完成后生成发送线程，触发所述发送模块传输数据；

所述发送模块，用于将发送目录中的压缩包文件，发送至接收代理。

3.如权利要求2所述的系统，其特征在于，所述发送前业务处理模块用于源业务数据扫描和数据压缩，具体包括：

源业务数据扫描：根据源业务系统的数据存放方式发现数据，并将数据复制到自身的源业务数据目录中；

数据压缩：将源业务数据目录中的数据压缩成一个压缩包，并将压缩包复制到自身的发送目录中，数据压缩成功并复制后，将数据的元信息持久化到本地的发送任务信息中，生成待发送传输任务信息，并将该传输任务信息插入到所述发送队列中。

4.如权利要求2所述的系统，其特征在于，所述发送前数据处理模块至少进行以下之一的数据处理：

数据加密：如果在配置文件中指定传输前需要加密，则将发送目录中的压缩包文件进行加密，得到加密后的压缩包，同时，更新本地的发送任务信息，将传输任务的状态修改为已加密；

计算MD5：防止传输过程中数据损坏，对压缩包的二进制数据流进行MD5运算，得到压缩包的MD5字符串，同时，更新本地的发送任务信息，记录传输任务的MD5值，并将传输任务的状态修改为已计算MD5。

5.如权利要求2所述的系统，其特征在于，所述发送模块开始发送目录中的压缩包文件给至接收代理时，更新本地的发送任务信息，将传输任务的状态修改为发送中；发送过程中，异步的更新本地的发送任务信息，包括发送线程数、每个线程传输的起始字节数、每个线程已传输的字节数；发送完成后，删除本地的发送任务信息中的当前传输任务。

6.如权利要求2所述的系统，其特征在于，所述发送代理还包括系统管理模块，用于初始化系统、异常管理、任务重试、通讯管理。

7.如权利要求1所述的系统，其特征在于，所述接收代理包括：接收模块，接收队列，接收后数据处理模块，接收后业务处理模块；其中：

所述接收模块，用于接收发送代理发送过来的数据文件，并存放于接收目录中，接收完毕后，将传输任务信息持久化到本地的接收任务信息，并生成已接收的传输任务信息，并将该传输任务信息插入到接收队列中；

所述接收队列是一个先进先出队列，用于在内存中存储已接收的传输任务信息；

所述接收后数据处理模块，用于消费从接收队列中的传输任务，并进行数据处理，在数据处理完成后触发所述接收后业务处理模块进行业务处理；

所述接收后业务处理模块，用于数据解压和目标数据提交。

8.如权利要求7所述的系统，其特征在于，所述接收后数据处理模块至少进行以下之一的数据处理：

校验MD5：对压缩包的二进制数据流进行MD5运算，得到压缩包的MD5字符串，将该MD5字符串与传输任务中的MD5字符串进行比较，相同校验通过，更新本地的接收任务信息，将传输状态修改为已校验，并触发业务处理；不同校验失败，更新本地的接收任务信息，将传输状态修改为校验失败，并发出相关的告警消息到管理控制台，同时中断处理进程；

数据解密：如果在配置文件中得知传输是加密的，则将接收目录中已加密的压缩包文件进行解密运算，得到解密后的压缩包。