[发明专利]一种面向实时应用的视音频数据网络传输系统和方法

摘要

本发明涉及一种面向实时应用的视音频数据网络传输系统和方法，包括：发送单元，发送单元通过多条TCP链路与接收单元连接：获取和复合装置，等分包打包装置，等分包发送装置，等分包接收装置，流解析装置，数据拆包装置，解复合装置，加急发送装置。本实施例通过使用多TCP进行传输，不仅可以保证数据传输的可靠性，同时能够提高网络利用的效率、并且适用于多种网络环境。并使用视音频复合包的方式，不仅可支持多种多媒体文件传输，同时也方便了接收端的播放和存储，易于做到视音频同步。同时还设置了备份发送队列和期望包号，便于有效地确定需要加急重传的数据包，实现了加急重传，进一步保证了数据的实时性。

主权项

1.一种面向实时应用的视音频数据网络传输系统，包括发送单元和接收单元，其特征在于，所述的发送单元通过多条TCP链路与接收单元连接；所述的发送单元包括：获取和复合装置，所述的获取和复合装置与等分包打包装置连接，所述的等分包打包装置与具有多个发送处理线程的等分包发送装置连接；所述的接收单元包括：具有多个接收处理线程的等分包接收装置，所述的等分包接收装置与流解析装置连接，所述的流解析装置与数据拆包装置连接，所述的数据拆包装置与解复合装置连接；所述的发送单元还包括加急发送装置，所述的加急发送装置与等分包发送装置连接；其中，发送单元，用于将视音频数据实时的发送给远端相应的接收单元；接收单元，用于实时的接收和处理所述发送单元发送的视音频数据，使其能够提供给上层应用使用；获取和复合装置，用于获取准备传输的视音频数据，并将其解析以生成按照视频数据和音频数据各自采样时间对齐的复合在一起的视音频复合包；其中，视音频复合包还包括了复合包头，复合包头包含复合包号、复合包大小、音频数据大小和起始位置、视频数据大小和起始位置；等分包打包装置，用于将所述的视音频复合包打包成适合网络传输的数据量大小相等的等分包；其中，等分包还包括了带有等分包号的等分包头，不同的等分包其等分包号使用自然数按照先后顺序从小到大依序排列；具体是：首先设定一固定值L，其次按照视音频的时间顺序依次取一个视音频复合包，将该视音频复合包的数据大小，亦即长度与L进行比较，如果大于，将该视音频复合包以L进行等分为一个或多个部分，不足L的部分与下一个或多个视音频复合包合并直到补足到L；如果小于，将该视音频复合包与下一个或多个视音频复合包合并直到补足到L；如果等于，不动作；最后将每部分长度为L的视音频复合包数据增加等分包头，打包为等分包，并将等分包放置于常规发送队列中；等分包发送装置，用于将所述的等分包通过一条或多条TCP链路进行发送；等分包发送装置中设置了一个常规发送队列和一个备份发送队列，检测各条TCP链路是否有空闲，并将常规发送队列中排在最前面的等分包放入与空闲TCP链路所对应的传输处理线程中进行传输，并将该等分包放入备份发送队列中；建立多条TCP链路可以基于一个网卡也可以基于多个网卡，如果只有一个网卡，则这多个链路都建立在在这一个网卡上，如果有多个网卡，则会平均的利用这几个网卡；等分包接收装置，用于接收所述等分包发送装置发送的等分包；流解析装置，用于将等分包接收装置接收的等分包利用等分包号重排成连续的等分包队列，丢弃掉重复接收的等分包，并实时通知发送单元期望包号；将通过等分包接收装置获取的等分包按照其等分包号从小到大的顺序进行排序，并记录排序中连续最长的等分包号序列，将连续最长的等分包号序列中最大的等分包号+1作为期望包号通知给发送单元；数据拆包装置，用于将所述的连续等分包队列中的等分包去掉等分包头，并根据复合包头信息还原视音频复合包；解复合装置，用于将通过数据拆包装置拆包的视音频复合包中的视频和音频数据根据复合包头中的信息进行分离和输出，以供上层应用程序使用；加急发送装置，用于通过设置超时阈值，和流解析装置回传的期望包号来判断已经发送过的等分包中需要加急重传的，并将其通过等分包发送装置进行加急重传；还用于判断是否有加急重传包、选择传输代价最小的空闲链路、提取加急重传包放入该传输代价最小的空闲链路；具体包括：将收到ACK的等分包从备份发送队列中删除；将等分包号小于期望包号的等分包从备份发送队列中删除，判断备份发送队列中剩余的等分包是否超过超时阈值，超过的作为加急重传包；判断空闲的TCP链路是否已经传输过该加急重传包，在其余未传输过该重传包的空闲TCP链路中选择出传输加急重传包代价最小的；在备份发送队列中提取加急重传包，放入传输加急重传包代价最小的TCP链路。