[发明专利]分布式大数据处理系统在审
申请号: | 201911334100.7 | 申请日: | 2019-12-23 |
公开(公告)号: | CN111061799A | 公开(公告)日: | 2020-04-24 |
发明(设计)人: | 崔晶晶;段国伟 | 申请(专利权)人: | 集奥聚合(北京)人工智能科技有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/27 |
代理公司: | 北京瑞盛铭杰知识产权代理事务所(普通合伙) 11617 | 代理人: | 李绩 |
地址: | 100024 北京市朝*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 数据处理系统 | ||
1.一种分布式大数据处理系统,其特征在于,所述系统包括:
缓存组件,用于接收并保存至少一个数据接口发送的目标数据;
计算模块,用于接收所述缓存组件发送的所述目标数据,并生成一计算任务,根据预设计算模型和预设时间窗口执行所述计算任务;
存储模块,用于接收并保存所述计算模块发送的所述计算任务的计算结果。
2.根据权利要求1所述的分布式大数据处理系统,其特征在于,所述计算模块还可直接接收所述数据接口发送的所述目标数据,并根据预设计算模型和预设时间窗口对所述目标数据进行计算。
3.根据权利要求1所述的分布式大数据处理系统,其特征在于,还包括定义模块,所述定义模块用于接收用户自定义的计算模型和时间窗口,并将所述计算模块和所述时间窗口发送至所述计算模块,以使所述计算模块能够根据所述计算模型和所述时间窗口对所述目标数据进行计算。
4.根据权利要求1所述的分布式大数据处理系统,其特征在于,还包括协调组件,所述协调组件分别与所述数据接口、缓存组件、计算模块连接,所述协调组件用于灵活配置数据接口优先顺序,是否缓存、缓存条数,起协调、配置作用,通过该模板可灵活配置,系统根据该模块实现自动计算、存储功能。
5.根据权利要求1所述的分布式大数据处理系统,其特征在于,所述存储模块包含有MySql、Oracle、DB2中的至少一种数据库。
6.根据权利要求1所述的分布式大数据处理系统,其特征在于,还包括分布式运算模块,所述分布式运算模块用于将所述计算模块的所述计算任务进行分布式运算。
7.根据权利要求6所述的分布式大数据处理系统,其特征在于,所述分布式运算模块包括由多个计算型计算机和至少一个统计型计算机组成的计算机组网,所述计算型计算机用于接收所述计算任务并进行计算处理,所述统计型计算机用于接收并统计所述计算处理的计算结果。
8.根据权利要求7所述的分布式大数据处理系统,其特征在于,所述分布式运算模块还包括总计算机,所述总计算机与各所述统计型计算机连接,所述总计算机用于对各统计型计算机统计的计算结果进行汇总处理。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述权利要求1至8任一项所述的分布式大数据处理系统上运行的程序。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行所述权利要求1至8任一项所述的分布式大数据处理系统上运行的程序。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于集奥聚合(北京)人工智能科技有限公司,未经集奥聚合(北京)人工智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911334100.7/1.html,转载请声明来源钻瓜专利网。