[发明专利]一种数据自动分析系统及其方法有效

专利信息
申请号: 201810419994.9 申请日: 2018-05-04
公开(公告)号: CN108681569B 公开(公告)日: 2021-11-02
发明(设计)人: 李昂;马继伟 申请(专利权)人: 亚洲保理(深圳)有限公司
主分类号: G06F16/25 分类号: G06F16/25;G06F9/445
代理公司: 深圳市精英专利事务所 44242 代理人: 冯筠
地址: 518000 广东省深圳市前海深港合作区前*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 自动 分析 系统 及其 方法
【权利要求书】:

1.一种数据自动分析系统,其特征在于,包括:

数据采集模块,用于连接外部应用接口,并接收数据信息;

数据存储模块,用于对数据信息进行存储、处理和通信;

数据分析模块,用于对数据信息进行分析和删减,得到最终数据;

所述数据存储模块包括:

存储单元,对应收账款数据、结构化元数据和文件数据blob进行存储;

处理单元,对组合业务逻辑、顺序业务逻辑和去中心化处理;

通信单元,用于对文件数据blob存储、元数据存储和查询队列的信息进行交互;

其中,存储单元还包括以下内容:

应收账款数据存储,应收是价值的存储单位,无论是应收,航空里程还是数字艺术版权;应收存储系统上的主要操作是发行和传输应收,同时防止双花问题;其他应收并不通过内部激励的方式来支撑一个网络,而是在较低级别的基础设施存储应收的高级别网络中作为激励的方式来支撑网络;

结构化元数据存储,专门存储结构化元数据,包括表、文档存储、键值存储、时间序列或图表;然后通过查询的方式来快速检索该数据。

2.根据权利要求1所述的一种数据自动分析系统,其特征在于,所述数据采集模块用于接入合作商的财务应用接口,负责agent端配置的维护,监控数据的接收和转存,网络设备数据的采集和端口健康状态的监测。

3.根据权利要求2所述的一种数据自动分析系统,其特征在于,所述数据采集模块包括:

agent单元,用于通过内置metric以及自定义插件方式采集主机硬件、操作系统、中间件和业务系统的数据,并通过tcp长连接异步发送至repeater单元;

net-collect单元,用于采集网络设备的各项性能指标,包含各接口接收发送字节数、数据包数和错误数;监控数据通过tcp长连接发送到repeater单元中,配置和接口信息发送到cfc单元;

cfc单元,部署于数据中心,直连MySQL,负责维护agent或net-collect同步过来的metric信息以及插件的同步;

cfc-proxy单元,用于部署于分支机构或异地机房,是agent/net-collect和cfc之间的通讯桥梁;

repeater单元,可任意部署,负责接收时间序列数据并转发到指定的后端,支持repeater-repeater、repeater-openTSDB和repeater-Redis。

4.根据权利要求1所述的一种数据自动分析系统,其特征在于,所述数据分析模块包括:

混合处理分析单元,用于处理批处理分析单元、流处理分析单元的工作负载;

批处理分析单元,将数据处理工作全部在内存中进行,只在一开始将数据读入内存,以及将最终结果持久存储时需要与存储层交互,所有中间态的处理结果均存储在内存中;

流处理分析单元,对数据进行缓冲,随后将缓冲的数据切割为小规模的固定数据集进行批处理。

5.根据权利要求4所述的一种数据自动分析系统,其特征在于,所述混合处理分析单元还包括以下内容:采用相同或相关的组件和API处理两种类型的数据,借此让不同的处理需求得以简化,由Spark和Flink实现,将两种不同处理模式进行结合,以及对固定和不固定数据集之间的关系进行假设,不仅提供处理数据所需的方法,而且提供了集成项、库和工具,可用于图形分析、机器学习和交互式查询。

6.根据权利要求4所述的一种数据自动分析系统,其特征在于,所述批处理分析单元还包括以下内容:采用RDD的模型来处理数据,只位于内存中,永恒不变的结构,针对RDD执行的操作可生成新的RDD,每个RDD可通过世系(Lineage)回溯至父级RDD,并最终回溯至磁盘上的数据。

7.根据权利要求4所述的一种数据自动分析系统,其特征在于,所述流处理分析单元还包括以下内容:采用Flink的流处理模型处理数据,在处理传入数据时,将每一项视作真正的数据流,Flink提供的DataStream API可用于处理无尽的数据流。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于亚洲保理(深圳)有限公司,未经亚洲保理(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810419994.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top