[发明专利]一种数据自动分析系统及其方法有效
申请号: | 201810419994.9 | 申请日: | 2018-05-04 |
公开(公告)号: | CN108681569B | 公开(公告)日: | 2021-11-02 |
发明(设计)人: | 李昂;马继伟 | 申请(专利权)人: | 亚洲保理(深圳)有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F9/445 |
代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 冯筠 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 自动 分析 系统 及其 方法 | ||
1.一种数据自动分析系统,其特征在于,包括:
数据采集模块,用于连接外部应用接口,并接收数据信息;
数据存储模块,用于对数据信息进行存储、处理和通信;
数据分析模块,用于对数据信息进行分析和删减,得到最终数据;
所述数据存储模块包括:
存储单元,对应收账款数据、结构化元数据和文件数据blob进行存储;
处理单元,对组合业务逻辑、顺序业务逻辑和去中心化处理;
通信单元,用于对文件数据blob存储、元数据存储和查询队列的信息进行交互;
其中,存储单元还包括以下内容:
应收账款数据存储,应收是价值的存储单位,无论是应收,航空里程还是数字艺术版权;应收存储系统上的主要操作是发行和传输应收,同时防止双花问题;其他应收并不通过内部激励的方式来支撑一个网络,而是在较低级别的基础设施存储应收的高级别网络中作为激励的方式来支撑网络;
结构化元数据存储,专门存储结构化元数据,包括表、文档存储、键值存储、时间序列或图表;然后通过查询的方式来快速检索该数据。
2.根据权利要求1所述的一种数据自动分析系统,其特征在于,所述数据采集模块用于接入合作商的财务应用接口,负责agent端配置的维护,监控数据的接收和转存,网络设备数据的采集和端口健康状态的监测。
3.根据权利要求2所述的一种数据自动分析系统,其特征在于,所述数据采集模块包括:
agent单元,用于通过内置metric以及自定义插件方式采集主机硬件、操作系统、中间件和业务系统的数据,并通过tcp长连接异步发送至repeater单元;
net-collect单元,用于采集网络设备的各项性能指标,包含各接口接收发送字节数、数据包数和错误数;监控数据通过tcp长连接发送到repeater单元中,配置和接口信息发送到cfc单元;
cfc单元,部署于数据中心,直连MySQL,负责维护agent或net-collect同步过来的metric信息以及插件的同步;
cfc-proxy单元,用于部署于分支机构或异地机房,是agent/net-collect和cfc之间的通讯桥梁;
repeater单元,可任意部署,负责接收时间序列数据并转发到指定的后端,支持repeater-repeater、repeater-openTSDB和repeater-Redis。
4.根据权利要求1所述的一种数据自动分析系统,其特征在于,所述数据分析模块包括:
混合处理分析单元,用于处理批处理分析单元、流处理分析单元的工作负载;
批处理分析单元,将数据处理工作全部在内存中进行,只在一开始将数据读入内存,以及将最终结果持久存储时需要与存储层交互,所有中间态的处理结果均存储在内存中;
流处理分析单元,对数据进行缓冲,随后将缓冲的数据切割为小规模的固定数据集进行批处理。
5.根据权利要求4所述的一种数据自动分析系统,其特征在于,所述混合处理分析单元还包括以下内容:采用相同或相关的组件和API处理两种类型的数据,借此让不同的处理需求得以简化,由Spark和Flink实现,将两种不同处理模式进行结合,以及对固定和不固定数据集之间的关系进行假设,不仅提供处理数据所需的方法,而且提供了集成项、库和工具,可用于图形分析、机器学习和交互式查询。
6.根据权利要求4所述的一种数据自动分析系统,其特征在于,所述批处理分析单元还包括以下内容:采用RDD的模型来处理数据,只位于内存中,永恒不变的结构,针对RDD执行的操作可生成新的RDD,每个RDD可通过世系(Lineage)回溯至父级RDD,并最终回溯至磁盘上的数据。
7.根据权利要求4所述的一种数据自动分析系统,其特征在于,所述流处理分析单元还包括以下内容:采用Flink的流处理模型处理数据,在处理传入数据时,将每一项视作真正的数据流,Flink提供的DataStream API可用于处理无尽的数据流。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于亚洲保理(深圳)有限公司,未经亚洲保理(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810419994.9/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置