[发明专利]基于客户端生成分布式真实网络流量数据集的方法及系统

权利要求书

1.一种基于客户端生成分布式真实网络流量数据集的方法，其特征在于，应用于可与服务器互相通信的客户端，该方法包括：

接收到服务器发送的部署命令后，响应于所述部署命令完成部署，并反馈给服务器；

接收服务器发送的采集数据流的采集命令，并按照采集命令携带的数据流的会话开始时间开始采集经过自身的数据包，当采集到的数据包达到预设的大小后，以固定格式进行存储；生成一个以五元组为key存储各数据包的hash字典；

跟踪自身的当前会话变化，采集当前会话的五元组以及对应的应用程序标识，将采集当前会话的会话开始时间、五元组以及对应的应用程序标识保存至预设映射表；

接收服务器下发的记录不同目的IP对应的访问网址的类型细分表；

在预设映射表与类型细分表中，确定五元组的同一目的IP；

将同一目的IP对应的访问网址、应用程序标识作为五元组的新流量数据标记，加入至流量标记映射表中；

按照五元组与应用程序标识之间的映射关系，查询hash字典确定对应的数据流，进行标记；

将携带标记的数据流按照不同的会话流定义进行切分，得到带有标记的会话流，组成用应用程序标识和访问网址标记的网络流量数据集。

2.根据权利要求1所述的一种基于客户端生成分布式真实网络流量数据集的方法，其特征在于，在接收到服务器发送的部署命令后，响应于所述部署命令完成部署，并反馈给服务器之前，该方法还包括：

客户端向服务器发送申请加入流量采集库的请求，以使服务器将申请的客户端加入流量采集库，并分发流量捕捉处理的相关模块以及部署命令至客户端。

3.根据权利要求2所述的一种基于客户端生成分布式真实网络流量数据集的方法，其特征在于，接收到服务器发送的部署命令后，响应于所述部署命令完成部署，并反馈给服务器包括：

接收部署命令，并按照部署命令将流量捕捉处理的相关模块部署在自身上，在完成部署后，向服务器发送部署成功的通知。

4.根据权利要求3所述的一种基于客户端生成分布式真实网络流量数据集的方法，其特征在于，服务器在接收到部署成功的通知后，

根据数据流采集需求，确定需要采集数据流的客户端类型、其对应的标号、产生数据流的会话开始时间、结束时间；

按照确定的标号，向对应的客户发送携带会话开始时间的采集命令。

5.根据权利要求1所述的一种基于客户端生成分布式真实网络流量数据集的方法，其特征在于，所述在预设映射表与类型细分表中，确定五元组的同一目的IP包括：

遍历预设映射表，提取五元组的目的IP；

并将提取到的目的IP与类型细分表中的目的IP对比，确定相同目的IP的五元组，并将相应的应用程序标识与访问网址结合为新的标记。

6.根据权利要求3所述的一种基于客户端生成分布式真实网络流量数据集的方法，其特征在于，部署在客户端上的流量捕捉处理的相关模块包括：流量捕捉存储模块、映射表查询维护模块以及流量标记处理模块。