[发明专利]一种数据自动分析系统及其方法

说明书

本发明涉及一种数据自动分析系统及其方法，其中，数据自动分析系统，包括：数据采集模块，用于连接外部应用接口，并接收数据信息；数据存储模块，用于对数据信息进行存储、处理和通信；数据分析模块，用于对数据信息进行分析和删减，得到最终数据。本发明通过接收数据，对数据完整记录并归类，将校验后的数据进行分析和删减处理，将分析处理后的数据上传至服务器，生成最终数据；使得数据分析能力效率大为提升，将误差比降到最低，清洗冗余数据，完整展现业务趋势，无限逼近真实值且保密性好。

技术领域

本发明涉及数据分析领域，更具体地说是指一种数据自动分析系统及其方法。

背景技术

现有的技术数据采集，效率低下，对于大数据的运用不到位，对于庞大的数据量归类不完整，导致数据无法行之有效的加以利用，即便提取出数据，对于这一块的分析加密问题也无法做到位。

发明内容

本发明的目的在于克服现有技术的缺陷，提供一种数据自动分析系统及其方法。

为实现上述目的，本发明采用以下技术方案：

一种数据自动分析系统，包括：

数据采集模块，用于连接外部应用接口，并接收数据信息；

数据存储模块，用于对数据信息进行存储、处理和通信；

数据分析模块，用于对数据信息进行分析和删减，得到最终数据。

其进一步技术方案为：所述数据采集模块用于接入合作商的财务应用接口，负责agent端配置的维护，监控数据的接收和转存，网络设备数据的采集和端口健康状态的监测。

其进一步技术方案为：所述数据采集模块包括：

agent单元，用于通过内置metric以及自定义插件方式采集主机硬件、操作系统、中间件和业务系统的数据，并通过tcp长连接异步发送至repeater单元；

net-collect单元，用于采集网络设备的各项性能指标，包含各接口接收发送字节数、数据包数和错误数；监控数据通过tcp长连接发送到repeater单元中，配置和接口信息发送到cfc单元；

cfc单元，部署于数据中心，直连MySQL，负责维护agent或net-collect同步过来的metric信息以及插件的同步；

cfc-proxy单元，用于部署于分支机构或异地机房，是agent/net-collect和cfc之间的通讯桥梁；

repeater单元，可任意部署，负责接收时间序列数据并转发到指定的后端，支持repeater-＞repeater、repeater-＞openTSDB和repeater-＞Redis。

其进一步技术方案为：所述数据存储模块包括：

存储单元，对应收账款数据、结构化元数据和文件数据blob进行存储；

处理单元，对组合业务逻辑、顺序业务逻辑和去中心化处理；

通信单元，用于对文件数据blob存储、元数据存储和查询队列的信息进行交互。

其进一步技术方案为：所述数据分析模块包括：

混合处理分析单元，用于处理批处理分析单元、流处理分析单元的工作负载；

批处理分析单元，将数据处理工作全部在内存中进行，只在一开始将数据读入内存，以及将最终结果持久存储时需要与存储层交互，所有中间态的处理结果均存储在内存中；

流处理分析单元，对数据进行缓冲，随后将缓冲的数据切割为小规模的固定数据集进行批处理。