[发明专利]一种边缘计算场景下的资源监控数据预处理系统

说明书

本发明涉及一种边缘计算场景下的资源监控数据预处理系统，其包括：端设备收集单元，收集云边集群中指定端设备产生的监控流数据，并将其发送至边缘节点对应的流处理服务器；边缘主机收集单元，通过部署在边缘主机的容器收集其硬件资源使用情况；存储单元，从预处理单元接收流处理服务器返回的监控流数据，进行压缩后存储；预处理单元，其为本地服务器，根据用户提供的配置文件，抓取收集单元收集的数据，并处理后发送给存储单元存储或由云边数据传输单元传到云端；云边数据传输单元，用于将处理后数据发送至云端；各单元均以yaml的形式由云端统一下发部署至边缘端。该系统能及时发现端设备及边缘主机的异常，极大地提升了监控自动化的效率。

技术领域

本发明涉及边缘计算领域，具体涉及一种边缘计算场景下的资源监控数据预处理系统。

背景技术

边缘计算起源于传媒领域，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。而云端计算，仍然可以访问边缘计算的历史数据。

Kubernetes是当今流行的容器编排系统，它是一种开源的容器集群管理系统，是大规模容器管理技术Borg的开源版本。Kubernetes包含的诸多特性，包括：基于容器的应用部署、维护和滚动升级，负载均衡和服务发现，跨机器和跨地区的集群调度，自动伸缩等等，使得它成为了容器编排领域的领导者，并且逐渐在企业落地。

Kubernetes现有的监控方案包含metric-server及prometheus联邦体系，metrics-server从Kubernetes集群中的各个主机上的Kubelet中的cadvisor中获取主机的CPU、memory等指标，并给Kubernetes集群提供HPA等功能；prometheus是一个开源的服务监控系统和时间序列数据库，它有以下特性：1.高维度数据模型；2.自定义查询语言；3.可视化数据展示；4.高效的存储策略；5.易于运维；6.提供各种客户端开发库；7.提供警告和报警；8.数据导出。

然而，Kubernetes现有的监控方案，无法涵盖到云边端一体化的场景，其主要涉及的数据为主机上的监控数据，不涉及到不同传输协议传输的不同端设备上的数据。其次，端设备产生的数据量级非常巨大，数据的流量压力给metrics-server服务器和prometheus服务器很大的压力。

随着5G和物联网时代的来临，网络边缘侧的资源监控数据量级将非常巨大，如果将数据都交由云端的管理平台来处理，将会产生现实网络流量巨大、一些设备的低时延导致实时监控工作难以保证、特殊监控信息的数据安全风险大增、端设备数据传输协议众多无法统一等问题，采用边缘计算的方式，海量监控数据则能够就近处理，大量的设备的状态信息能实时得到监控，以上的问题就能迎刃而解。因此，传统的基于云中心的Kubernetes监控方案已经不能适应当前的边缘计算场景，更需要一种在边缘节点上的资源监控数据预处理方法。

发明内容

针对现有技术的不足，本发明提出一种边缘计算场景下的资源监控数据预处理系统，该系统基于云边端一体化协同的场景，使用多级的监控收集及预处理系统，逐步减小云端数据中心的数据流量压力，解决了现实网络流量巨大、一些设备的低时延导致实时监控工作难以保证、特殊监控信息的数据安全风险大增、端设备数据传输协议众多无法统一等诸多问题，解决了在云边端一体化场景下边缘主机及端设备等监控数据的痛点，在实际应用落地过程中能及时发现端设备及边缘主机的资源异常及设备状态异常等问题，极大地提升了监控自动化的效率。

本发明的目的通过如下的技术方案来实现：

一种边缘计算场景下的资源监控数据预处理系统，该系统包括：