[发明专利]面向有效载荷数据的实时流处理方法

说明书

本发明涉及数据处理技术领域，公开了一种面向有效载荷数据的实时流处理方法。该方法包括：根据预定属性建立Socket连接；发送遥测请求至数字接收机；接收所述数字接收机根据所述请求发送的I路数据和Q路数据；对所述I路数据和所述Q路数据进行包数据处理得到按照I/Q标识存储的双路帧数据流；对两路帧数据流分别进行帧数据处理，并对处理后的两路帧数据流按照通道标识进行分组，得到按照通道标识和I/Q标识存储的双路帧数据流；利用帧计数对按照通道标识和I/Q标识存储的双路帧数据流进行合路；对合路后得到的数据进行连续性判断并按照通道标识进行存储。由此，可以实现双路有效载荷数据的实时接收和分析存储，保证数据不丢包。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种面向有效载荷数据的实时流处理方法。

背景技术

面对大规模高码率传输的卫星有效载荷数传数据，即有效载荷高速数据流，重点在于实时地进行接收处理。

现有技术中公开了一种面向有效载荷高速数据流的数据处理方法，该方法借鉴MapReduce的多线程并行模式，采用hash算法与归并排序算法相结合的方式，提高数据处理吞吐率，实现实时处理。具体是通过识别同步码，将数据流切分为数据帧，然后通过直接取余法，将数据帧分配到相应的hash桶中，每个桶分配一个固定的处理线程和结果缓冲区，处理线程根据先进先出的原则对桶中的数据帧进行处理，并将解析结果存储到结果缓冲区，最后对缓冲区结果进行归并。该方法将逐帧处理改为并行处理，提高了处理的实时性，实时处理吞吐率不小于150Mbps。

然而，对于输入是高码率数字接收机通过2个千兆网口发送的I/Q双路数据，其传输速率为600Mbps，现有的hash算法不再适用。

因此，需要一种能够对这些以600Mbps高速输入的载荷数据进行快速接收处理的方法。

发明内容

本发明的目的在于克服现有技术不足，提供了一种面向有效载荷数据的实时流处理方法，能够解决上述现有技术中的问题。

本发明的技术解决方案：一种面向有效载荷数据的实时流处理方法，其中，该方法包括：

根据预定属性建立Socket连接；

发送遥测请求至数字接收机；

接收所述数字接收机根据所述请求发送的I路数据和Q路数据；

对所述I路数据和所述Q路数据进行包数据处理得到按照I/Q标识存储的双路帧数据流；

对两路帧数据流分别进行帧数据处理，并对处理后的两路帧数据流按照通道标识进行分组，得到按照通道标识和I/Q标识存储的双路帧数据流；

利用帧计数对按照通道标识和I/Q标识存储的双路帧数据流进行合路；

对合路后得到的数据进行连续性判断并按照通道标识进行存储。

优选地，对所述I路数据和所述Q路数据进行包数据处理包括：

对所述I路数据和所述Q路数据分别进行解包；

对解包后的I路数据和Q路数据分别进行解扰；

对解扰后的I路数据和Q路数据分别进行组包。

优选地，帧数据处理包括1024帧数据分析和848帧数据分析。

优选地，所述1024帧数据分析包括1024帧格式解析和CRC校验，所述848帧数据分析包括848帧格式解析和CRC校验。

优选地，基于平衡二叉树的堆排序利用帧计数对按照通道标识和I/Q标识存储的双路帧数据流进行合路。

优选地，所述预定属性包括缓冲区大小和flag参数。