[发明专利]一种基于多路异构单向传输通道的数据传输系统

摘要

一种基于多路异构单向传输通道的数据传输系统，包括发送端和接收端，发送端和接收端均采用五层体系架构实现，五层体系架构包括管理层、服务层、调度层、链路层和传输通道层，传输通道层包括发送端控制单元、多路单向无反馈传输通道和接收端控制单元。本发明算法不依赖具体的硬件技术，适用于各种异构单向传输通道，可以动态调整传输通道的数量，具备灵活扩展性和广泛适应性，能够实现多通道数据单向传输，满足大数据实时传输需求，当传输通道出现故障时，收发双方能够及时发现并排除问题，保证传输可靠性。

主权项

1.一种基于多路异构单向传输通道的数据传输系统，其特征在于：包括发送端和接收端，发送端和接收端均采用五层体系架构实现，所述五层体系架构包括管理层、服务层、调度层、链路层和传输通道层；发送端管理层：用于进行传输策略配置、管理传输通道层的各路单向无反馈传输通道、对系统访问者进行身份认证、对重要操作行为进行安全审计、对传输任务和传输通道进行监控；发送端服务层：对发送端应用系统进行身份认证，认证通过后，缓存接收到的应用数据，利用数据缓存算法根据该应用数据的传输优先级将其放入对应缓存队列的尾部；提供当前各缓存队列情况、数据发送情况、各路单向无反馈传输通道状态信息，供发送端管理层或外部系统查询；发送端调度层：利用数据抽取算法从发送端服务层缓存队列中抽取数据，对抽取的每个数据计算MD5值，并进行数据拆分，得到包含多个数据块的数据块组，其中各个数据块大小相同；根据配置的传输策略，对拆分得到的数据块组依次进行交织处理、前向纠错编码和协议封装处理，然后利用数据分发算法对协议封装处理后的数据块组进行冗余传输调度，为各个数据块分配传输通道编号，并输出给发送端链路层；所述数据分发算法的实现方法如下：步骤一：针对编码后的数据块组查询传输策略配置，获得传输冗余次数，根据预先设计的传输分组个数m，将数据块组分为m个子分组；步骤二：选取一个数据子分组等待发送；步骤三：计算各单向无反馈传输通道权重，根据计算结果选取权重最大的传输通道；利用如下公式计算第n路单向无反馈传输通道权重Fn：式中n表示第n路传输通道；Bn为第n路传输通道的带宽；Ln为接收端根据第n路传输通道历史传输情况统计获得的通道丢包率，并反馈给发送端管理层；C为丢包率的修正参数；Un为第n路传输通道负载量；Tn为第n路传输通道系数，依据通道类型设置；k1、k2、k3、k4为保证各项指标平衡的比例系数；步骤四：判断选取的传输通道是否传输过此数据子分组，若从未传输过，执行步骤五，否则，增加该传输通道的负载量，转步骤三重新选择传输通道；步骤五：为数据子分组分配传输通道编号；步骤六：判断数据子分组是否为数据块组的最后一个子分组，若是最后一个，执行步骤七，否则转步骤二继续循环处理；步骤七：判断数据块组的传输次数是否达到冗余次数要求，若达到，执行步骤八，否则转步骤二继续循环处理；步骤八：数据块组全部分配完成，转步骤一继续处理下一个数据块组；发送端链路层：计算各个数据块的CRC校验码，将CRC校验码和通道编号放入相应数据块尾部形成数据帧，按照传输协议对数据帧进行封装，将封装后的数据帧发送给传输通道层；同时定期向各路单向无反馈传输通道发送同步信号，所述同步信号包括发送端当前时间、各传输通道的流水号信息；传输通道层：包括发送端控制单元、多路单向无反馈传输通道和接收端控制单元；发送端控制单元读取数据帧尾部的通道编号，根据通道编号将数据帧分配给相应单向无反馈传输通道进行传输；接收端控制单元接收单向无反馈传输通道传输过来的数据帧，发送给接收端链路层；各路单向无反馈传输通道定期向接收端链路层发送来自发送端链路层的同步信号；接收端链路层：对接收到的数据帧进行解析，得到CRC校验码和数据块，对得到的数据块进行CRC校验，丢弃校验错误的数据块，将校验正确的数据块传递给接收端调度层；接收各单向无反馈传输通道的同步信号，从中提取发送端当前时间和各传输通道流水号，分析传输状态并上报；接收端调度层：将来自接收端链路层的数据块按块中携带的数据标识及块序号放入对应缓存队列的相应位置，利用数据选举算法对由于冗余传输而产生的重复数据块进行选举得到正确数据块，若某个数据块丢失，则进行前向纠错译码，以恢复丢失的数据块；对接收到的各数据块进行协议解析，得到每个数据块的有效载荷信息，通过重组还原应用数据，计算重组数据的MD5值，判断重组数据是否有效，将有效的数据传递给接收端服务层；所述数据选举算法的实现方法如下：步骤一：提取每个数据块拷贝中有效载荷，具有相同有效载荷的数据块拷贝划分为一组，统计各组内数据块拷贝的个数，将其作为各数据块拷贝的得票数；所述数据块拷贝是指由于冗余传输而产生的重复数据块；步骤二：选取得票数最多的数据拷贝作为正确的数据块，若存在多个相同票数的数据拷贝，则选择来自丢包率低的传输通道的数据块作为正确数据块；接收端服务层：对接收端应用系统进行身份认证，对来自接收端调度层的数据进行缓存，然后发送给通过身份认证的接收端应用系统；提供当前各缓存队列情况、数据接收情况、各单向无反馈传输通道状态信息，供接收端管理层或外部系统查询；接收端管理层：根据发送端管理层的传输策略进行相应配置、管理各路单向无反馈传输通道、对系统访问者进行身份认证、对重要操作行为进行安全审计、对传输任务和传输通道进行监控。