[发明专利]用于DPI数据的处理方法和处理系统

说明书

本公开提供了一种用于DPI数据的处理方法和处理系统，涉及数据处理领域。该处理方法包括：检测得到缺失DPI数据的第一时间段；获取与第一时间段相邻的第二时间段的DPI数据；将第二时间段的DPI数据输入到DPI数据补全模型单元；以及DPI数据补全模型单元基于第二时间段的DPI数据生成第一时间段的缺失的DPI数据。本公开实现了对缺失的DPI数据的补全，减少用户使用数据时所受到的数据缺失的影响。

技术领域

本公开涉及数据处理领域，特别涉及一种用于DPI数据的处理方法和处理系统。

背景技术

随着互联网技术和数据技术的蓬勃发展，目前各大互联网公司已经拥有PB(petabyte，拍字节)级数据存量，百TB(terabyte，太字节)级数据日增量。数据作为数据服务产品的原材料，是各大公司的重要资产。因此，保障数据稳定性及可用性是数据运营的一项核心工作。DPI(Deep Packet Inspection，深度包检测)数据是量级非常大的一种数据。在进行数据传输的过程中，可能会由于网络波动、资源负载或源数据异常等不可控因素，导致DPI数据缺失的问题，为后续使用带来难度。

发明内容

本公开解决的一个技术问题是：提供一种用于DPI数据的处理方法，以对缺失的DPI数据实现补全。

根据本公开的一个方面，提供了一种用于深度包检测DPI数据的处理方法，包括：检测得到缺失DPI数据的第一时间段；获取与所述第一时间段相邻的第二时间段的DPI数据；将所述第二时间段的DPI数据输入到DPI数据补全模型单元；以及所述DPI数据补全模型单元基于所述第二时间段的DPI数据生成所述第一时间段的缺失的DPI数据。

在一些实施例中，在检测得到缺失DPI数据的第一时间段之前，所述处理方法还包括：获取样本时间段的样本DPI数据；以及将所述样本DPI数据输入到所述DPI数据补全模型单元以对所述DPI数据补全模型单元进行训练。

在一些实施例中，对所述DPI数据补全模型单元进行训练的步骤包括：对所述样本DPI数据进行预处理，并将经过所述预处理后的样本DPI数据依次输入到卷积层、修正线性单元层、池化层和全连接层进行处理，以得到所述样本DPI数据的特征数据；将所述样本DPI数据的特征数据输入到生成式对抗网络GAN的判别器中；将随机值输入到所述GAN的生成器中；所述生成器对所述随机值进行计算以生成随机特征数据，将所述随机特征数据输入到所述判别器中；以及所述判别器对所述样本DPI数据的特征数据和所述随机特征数据进行对比并判定以获得判定结果；当所述判定结果没有在预定范围内时，所述判别器确定当前的DPI数据补全模型单元没有达到最优状态，并将所述判定结果返回给所述生成器，使得所述生成器生成下一个随机特征数据；当所述判定结果在所述预定范围内时，所述判别器确定当前的DPI数据补全模型单元达到最优状态。

在一些实施例中，所述预定范围为0.45至0.55。

在一些实施例中，所述生成器生成随机特征数据的步骤包括：所述生成器基于所述随机值生成初始时间段的数据序列，并以预设时间段作为递增时间段，相应地逐渐增加所述数据序列，直到增加到具有与所述样本时间段的长度相等的时间段的数据序列，即为所述随机特征数据，并利用遗忘门获取随机特征数据的时间信息。

在一些实施例中，所述预处理包括：去除缺失值处理、降维处理、归一化处理和向量编码处理中的至少一个。

根据本公开的另一个方面，提供了一种用于DPI数据的处理系统，包括：获取单元，用于检测得到缺失DPI数据的第一时间段，获取与所述第一时间段相邻的第二时间段的DPI数据，并将所述第二时间段的DPI数据输入到DPI数据补全模型单元；以及所述DPI数据补全模型单元，用于基于所述第二时间段的DPI数据生成所述第一时间段的缺失的DPI数据。

在一些实施例中，所述获取单元还用于获取样本时间段的样本DPI数据，并将所述样本DPI数据输入到所述DPI数据补全模型单元；所述DPI数据补全模型单元还用于基于样本DPI数据进行训练。