[发明专利]NetFlow数据去重方法及装置

说明书

本发明公开了一种NetFlow数据去重方法及装置，该方法包括：获取NetFlow数据信息和NetFlow数据导出设备的IP地址信息；根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息；根据关键字信息对NetFlow重复数据进行标识；根据标识结果对重复的NetFlow数据进行去重处理。本发明可以对重复的NetFlow数据进行去重处理，避免了一份NetFlow数据多次被采集设备收集计算或流转，从而消耗大量资源，并造成后续的数据统计结果不准确。

技术领域

本发明涉及通信技术领域，尤其涉及一种NetFlow数据去重方法及装置。

背景技术

NetFlow是一种网络监测功能，用于提供网络流量的会话级视图，记录下每个TCP/IP(Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议)的会话信息。但是，网络管理员一般对NetFlow本身的技术实现机制或对要监控的网络拓扑了解不深入，从而会导致相同的网络TCP/IP会话信息被NetFlow数据导出设备导出成多条重复的NetFlow数据。如果无法对这些重复的NetFlow数据进行识别和消除，则会导致一份NetFlow数据多次被采集设备收集计算或流转，不仅资源消耗较大，而且还会使后续的数据统计结果不准确。而目前并没有能够对NetFlow数据实现去重的方法。

发明内容

本发明实施例提供一种NetFlow数据去重方法，用以对重复的NetFlow数据进行去重处理，避免了一份NetFlow数据多次被采集设备收集计算或流转，从而消耗大量资源，并造成后续的数据统计结果不准确，该方法包括：

获取NetFlow数据信息和NetFlow数据导出设备的IP地址信息；

根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息；

根据关键字信息对NetFlow重复数据进行标识；

根据标识结果对重复的NetFlow数据进行去重处理。

可选的，用于识别关键字信息的NetFlow数据信息和NetFlow数据导出设备IP地址信息，包括：

NetFlow数据中的源地址信息、目的地址信息、源端口信息、目的端口信息、协议类型信息、下一跳地址信息与NetFlow数据导出设备IP地址信息。

可选的，根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息，包括：

在预设时间段内，对比获取到的多个NetFlow数据导出设备IP地址信息，以及与每个NetFlow数据导出设备IP地址信息对应的多组NetFlow数据信息；

根据多个NetFlow数据导出设备IP地址信息，判断在多组NetFlow数据信息中存在相同的NetFlow数据信息的NetFlow数据导出设备是否为同一NetFlow数据导出设备；

根据判断结果识别出用于反映NetFlow重复数据的关键字信息。

可选的，根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息，还包括：

若NetFlow数据信息中存在下一跳地址信息与导出设备的IP地址相同的情况，则确认存在NetFlow重复数据，识别出用于反映NetFlow重复数据的关键字信息。

可选的，根据NetFlow数据信息和NetFlow数据导出设备IP地址信息识别出用于反映NetFlow重复数据的关键字信息，还包括：