[发明专利]一种基于动态服务拓扑映射的Kubernetes容器网络数据包指标采集的方法及系统

说明书

本发明提供了一种基于动态服务拓扑映射的Kubernetes容器网络数据包指标采集方法及系统。所述方法步骤包括：a)动态构建服务拓扑映射关系：实时感知Endpoint变化，构建和更新服务拓扑映射关系图；b)动态识别获取Pod虚拟网卡设备对：动态感知Pod创建与销毁，实时获取每个节点上的Pod虚拟网卡设备对列表；c)采集Pod网络数据包：对Pod外部虚拟网卡设备进行抓包；d)关联分析网络数据包并构建生成指标数据：基于服务拓扑映射关系图，对数据包进行关联分析，构建生成指标数据并上报。本发明解决了Kubernetes容器网络虚拟IP频繁变化导致难以从业务维度进行关联识别网络数据包的问题，能够快速准确地采集、识别和分析数据包，实现覆盖端到端（PodtoPod）的流量采集，建立完整的网络结构拓扑。

技术领域

本发明涉及容器网络流量采集与监控的技术领域，具体地，涉及一种基于动态服务拓扑映射的Kubernetes容器网络数据包指标采集的方法及系统。

背景技术

当前，企业级应用的容器化部署方式日益成为主流。Docker容器化技术由于其轻量级和标准化实现，近年来得到了飞速发展和广泛应用。Kubernetes（简称K8s）是一个跨主机集群的、开源的容器调度平台，它可以自动化应用容器的部署、扩展和操作，提供以容器为中心的基础架构，已成为业界的容器编排事实标准。在K8s与Docker引起行业巨大变革的同时，也给网络流量采集和监控带来了新的问题需要解决。

容器的特点是弹性伸缩，而支持弹性伸缩的最大的两个特征就是分布式和负载均衡。K8s容器环境中的应用都是以标准的Pod形式部署的，做到了环境的隔离、可移植及弹性扩充，Service的概念屏蔽了后端Pod的部署细节，Ingress解决了Service NodePort类型端口管理的难题，Ingress和Service从两种不同的形式上提供了负载均衡机制。一个容器的Node大概率情况下是个虚拟机，但也可能是个物理机，因此这样的一个容器集群必然要求外部网络是一个三层可连通的网络，这样K8s集群中的Node之间才可以通过IP进行交互；而这样的一个集群节点是以扁平网络的方式进行编织的，但是在这其中，也会存在多租户的叠加网络，在K8s集群内部的容器网络实现里，会看到例如Flannel和Calico这样的扁平网络，它可能是一个覆盖网络（Overlay），也可能是一个纯粹的路由网络（Underlay）。因此，在一个K8s容器集群环境下，假设Node数量为NN个，可能存在NL个负载均衡器——NL的数量基本上等于Node数量，一般一个Service至少能生成一个负载均衡服务，而每个Node上可能会存在NP个Pod，任何Pod之间都是网络可达的，因为整个集群处在一个大三层网络里（Node之间的网络通信），集群外部可通过Ingress、LB的方式来访问集群内部任意一个Pod，这个Pod只需要通过Service、Ingress的方式透传出去，集群内部之间通过Service来相互访问，于是服务之间的交互就会变得十分复杂，东西向流量成为容器环境下的主体流量，这样一个超大规模的部署环境，使得IP数量乘数量级的增长，这可能会有NN*NP或者NL*NP个数量级的IP地址出现。对监控而言，其本质是对端到端的访问情况做监控，在这种情况下，可能需要O(N²)的通信路径需要监控。