[发明专利]分布式大数据处理系统

说明书

本申请实施例提供一种分布式大数据处理系统，包括：缓存组件，用于接收并保存至少一个数据接口发送的目标数据；计算模块，用于接收所述缓存组件发送的所述目标数据，并生成一计算任务，根据预设计算模型和预设时间窗口执行所述计算任务；存储模块，用于接收并保存所述计算模块发送的所述计算任务的计算结果；本申请能够有效结合流计算和离线计算各自的性能优势，实现低延迟和实时计算与存储，极大提高了平台的计算能力，实现了运算能力的最大化。

技术领域

本申请涉及数据处理领域，具体涉及一种分布式大数据处理系统。

背景技术

当今社会，我们已经身处大数据时代，社会的各项活动中无时无刻都在产生着数据。通过一些技术手段，我们可以将产生的数据存储起来加以分析并被自己利用。以前，我们通常使用离线计算来处理数据，即数据是存储好的，我们可以对存储好的数据进行加工、计算，这种数据处理方式叫做离线计算，离线计算的特点是运算时间较长、吞吐数据量大。但是，目前各个数据分析系统对信息高时效性、可操作性的需求正在不断增长，从数据产生到数据存储，这中间有一定的时间延迟，也就是说已经产生的数据无法既时地流转到存储体统，例如：需要实时监测异常行为的欺诈/风控系统，需要实时查看交易额的证券交易系统，需要实时计算点击/分成的广告系统，还有实时更新用户标签的实时用户画像系统，这部分时间延迟对各个数据分析系统有着非常大的影响，处理不及时就会造成严重的经济损失。

发明内容

针对现有技术中的问题，本申请提供一种分布式大数据处理系统，能够有效结合流计算和离线计算各自的性能优势，实现低延迟和实时计算与存储，极大提高了平台的计算能力，实现了运算能力的最大化。

为了解决上述问题中的至少一个，本申请提供以下技术方案：

第一方面，本申请提供一种进一步地，包括：

缓存组件，用于接收并保存至少一个数据接口发送的目标数据；

计算模块，用于接收所述缓存组件发送的所述目标数据，并生成一计算任务，根据预设计算模型和预设时间窗口执行所述计算任务；

存储模块，用于接收并保存所述计算模块发送的所述计算任务的计算结果。

进一步地，所述计算模块还可直接接收所述数据接口发送的所述目标数据，并根据预设计算模型和预设时间窗口对所述目标数据进行计算。

进一步地，还包括定义模块，所述定义模块用于接收用户自定义的计算模型和时间窗口，并将所述计算模块和所述时间窗口发送至所述计算模块，以使所述计算模块能够根据所述计算模型和所述时间窗口对所述目标数据进行计算。

进一步地，还包括协调组件，所述协调组件分别与所述数据接口、缓存组件、计算模块连接，所述协调组件用于灵活配置数据接口优先顺序，是否缓存、缓存条数，起协调、配置作用，通过该模板可灵活配置，系统根据该模块实现自动计算、存储功能。

进一步地，所述存储模块包含有MySql、Oracle、DB2中的至少一种数据库。

进一步地，还包括分布式运算模块，所述分布式运算模块用于将所述计算模块的所述计算任务进行分布式运算。

进一步地，所述分布式运算模块包括由多个计算型计算机和至少一个统计型计算机组成的计算机组网，所述计算型计算机用于接收所述计算任务并进行计算处理，所述统计型计算机用于接收并统计所述计算处理的计算结果。

进一步地，所述分布式运算模块还包括总计算机，所述总计算机与各所述统计型计算机连接，所述总计算机用于对各统计型计算机统计的计算结果进行汇总处理。

第二方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行上述分布式大数据处理系统上运行的程序。