[发明专利]一种流量集成化采集系统

说明书

本发明公开一种流量集成化采集系统，涉及流量智能采集技术领域。本发明用于解决没有对流量数据包的相关数据进行采集分析处理，并与流量集成化的采集数据结合进行多维度分析处理，不利于流量精细化整合管理的技术问题；将一级子集内流量的接口性能信息通过传输性能分析处理，得到反映一级子集内流量对应的接口传输性能情况的传输性能因子，便于后续与流量集成化采集数据结合进行多维度分析处理；通过多维度采集包性能波动信号和包性能危险信号对应的一级子集内流量的访问、更新、传输相关数据，并与传输性能因子结合，多维分析得到反映流量访问热度、传输效率综合情况的热效因子，便于针对性的进行流量精细化整合管理。

技术领域

本发明涉及流量智能采集技术领域，具体涉及一种流量集成化采集系统。

背景技术

网络流量是单位时间内通过网络链路的数据包总体，是衡量网络负荷和转发性能的基本指标。网络流量监测即抓取网络中传输数据包的总体数据并统计，而采集网络流量数据是对网络IP数据报文的收集。网络流量采集分析已经成为数据中心基础设施不可缺少的分析手段，通过网络流量深度分析，网络管理人员能够更直观地加快故障定位、分析应用数据，优化网络结构、系统性能和安全控制，加快故障定位。

网络流量采集是流量分析体系的基础，一个覆盖全面、合理有效的流量采集网络，有助于提高网络流量的采集、过滤和分析效率，满足不同角度的流量分析需求，优化网络和业务性能指标，提高用户体验和满意度。公布号CN112182080A的发明专利公开了数据集成系统和基于数据集成系统的数据处理方法，该系统包括：资源隔离模块、数据采集模块、数据集成模块和系统数据库，其中，资源隔离模块用于：设置系统和所系统包含的至少一个项目对应的权限，以实现资源隔离；数据采集模块用于：调用数据采集接口进行数据采集，将采集的数据落地到系统数据库；数据集成模块用于：访问系统数据库中的数据，按照数据处理规则对访问的数据进行处理。该实施方式能够将数据采集和数据集成过程一体化，用户不需要为每个应用开发后台服务，减少人力成本和代码维护成本。研究发现存在以下技术缺陷：没有对流量数据包的相关数据进行采集分析处理，并与流量集成化的采集数据结合进行多维度分析处理，不利于流量精细化整合管理。

针对此方面的技术缺陷，现提出一种解决方案。

发明内容

本发明的目的在于提供一种流量集成化采集系统，用于解决现有技术中没有对流量数据包的相关数据进行采集分析处理，并与流量集成化的采集数据结合进行多维度分析处理，不利于流量精细化整合管理的技术问题；

通过采集网络设备的流量外部信息、流量性能信息和接口性能信息，基于流量外部信息的五项特征数据判定一致后整合至一级子集内，将一级子集内流量的流量性能信息通过性能修正、预设权重、公式计算结合的数据包分析处理方式，得到反映一级子集内流量的数据包情况的数据包性能因子，并以折线图方式直观反映字节数与数据包数量之间的变化关系，便于后续对数据包性能因子和折线图进一步分析得到数据包性能相关的信号，解决了没有对流量数据包的相关数据进行采集分析处理的技术问题；

通过将一级子集内流量的接口性能信息通过传输修正、预设权重、公式计算结合的传输性能分析处理方式，得到反映一级子集内流量对应的接口传输性能情况的传输性能因子，便于后续与流量集成化采集数据结合进行多维度分析处理，解决了与流量集成化的采集数据结合进行多维度分析处理的技术问题；

通过将高热高效信号、中热中效信号和地热低效信号对应的一级子集内流量整合至二级子集内，并基于上述信号反映的访问热度、传输效率综合情况，进行添加分布式存储服务器、扩大存储容量和压缩存储的针对性反馈操作，使得访问热度高且传输高效的一级子集内流量高速存储且避免丢包，访问热度适中且传输效率适中的一级子集内流量存储容量更大，访问热度低且传输较慢的一级子集内流量压缩以节约内存，解决了不利于流量精细化整合管理的技术问题。

本发明的目的可以通过以下技术方案实现：