[发明专利]一种垃圾数据深度过滤方法及系统

权利要求书

1.一种垃圾数据深度过滤方法，其特征在于，所述方法包括：

获取网络数据，对所述网络数据进行五元组初步过滤；

将初步过滤后的数据进行文本向量化表示，采用改进的k均值聚类算法对向量化表示的文本进行聚类划分，确定数据源，基于数据源进行二次过滤；

基于卷积神经网络进行深度内容过滤。

2.根据权利要求1所述垃圾数据深度过滤方法，其特征在于，所述五元组初步过滤包括源IP地址、目的IP地址、源端口号、目的端口号和传输协议类型的过滤。

3.根据权利要求1所述垃圾数据深度过滤方法，其特征在于，所述将初步过滤后的数据进行文本向量化表示，对向量化表示的文本进行聚类划分，确定数据源具体包括：

基于不同协议，将初步过滤后的网络数据包进行还原，得到二进制文件；

基于词袋模型，对二进制文件进行特征提取，得到文本特征向量，完成文本向量化表示；

获取标准文本向量集，采用改进的k均值聚类算法对将标准文本向量集划分成多个类簇，确定各个类簇的中心点，计算向量化表示的文本所属类簇，在所属类簇内通过相似度计算的方式确定数据源。

4.根据权利要求3所述垃圾数据深度过滤方法，其特征在于所述采用改进的k均值聚类算法对将训练样本集划分成多个类簇具体包括：

通过粒子群算法优化k均值聚类算法的聚类类别数：设置粒子群算法的种群规模和边界，在边界范围内初始化聚类类簇个数，基于不同的聚类类簇个数对训练样本集进行k均值聚类，计算不同聚类结果下的适应度，设置适应度阈值，根据适应度计算最优位置并进行个体位置更新，迭代运算最后得到满足适应度阈值的最优的位置作为聚类类簇个数K，粒子群算法的优化目标为各个类簇的类内距离值均值之和最小。

5.根据权利要求4所述垃圾数据深度过滤方法，其特征在于，所述基于优化的AdaBoost方法进行深层内容过滤具体包括：

采用条件生成对抗网络对所述标准文本向量集进行数据增强，得到训练集；

通过所述训练集训练卷积神经网络分类模型，将二次过滤后的数据输入所述卷积神经网络模型，根据分类结果进行深度内容过滤。

6.一种垃圾数据深度过滤系统，其特征在于，所述系统包括：

初步过滤模块：获取网络数据，对所述网络数据进行五元组初步过滤；

数据源过滤模块：将初步过滤后的数据进行文本向量化表示，采用改进的k均值聚类算法对向量化表示的文本进行聚类划分，确定数据源；

内容过滤模块：基于卷积神经网络进行深度内容过滤。

7.根据权利要求6所述垃圾数据深度过滤系统，其特征在于，所述数据源过滤模块具体包括：

基于不同协议，将初步过滤后的网络数据包进行还原，得到二进制文件；

向量化单元：基于词袋模型，对二进制文件进行特征提取，得到文本特征向量，完成文本向量化表示；

聚类单元：获取标准文本向量集，采用改进的k均值聚类算法对将标准文本向量集划分成多个类簇，确定各个类簇的中心点，计算向量化表示的文本所属类簇；

数据源过滤单元：在所属类簇内通过相似度计算的方式确定数据源，进行二次过滤。

8.根据权利要求7所述垃圾数据深度过滤系统，其特征在于，所述内容过滤模块具体包括：

数据增强单元：采用条件生成对抗网络对所述标准文本向量集进行数据增强，得到训练集；

深度过滤单元：通过所述训练集训练卷积神经网络分类模型，将二次过滤后的数据输入所述卷积神经网络模型，根据分类结果进行深度内容过滤。