[发明专利]一种分布式大数据处理系统

说明书

本发明公开了一种分布式大数据处理系统，包括服务器、用户登录模块、数据获取模块、数据存储模块、信息推送模块、数据处理模块、安全模块以及数据仓库；所述数据仓库内设置有若干个数据集群，所述数据集群由若干个子数据库单元组成，所述数据仓库用于数据存储和数据读取；在数据存储和数据读取的过程中，通过设置有安全模块，且安全模块又分为存储安全单元和读取安全单元，从而分别对数据的存储和数据的读取进行相应的安全检测，并通过信息推送模块向用户推送预警信息；本发明涉及大数据处理系统技术，通过安全模块中的存储安全单元与读取安全单元能够同时保护用户的数据存储安全和读取安全，提高了数据的安全性。

技术领域

本发明涉及大数据处理系统技术领域，具体为一种分布式大数据处理系统。

背景技术

随着移动互联网、物联网等应用的飞速发展，全球数据量出现了爆炸式增长。数据量的飞速增长预示着现在已经进入了大数据时代。网络运营商拥有庞大的用户，同时具有对终端及用户上网通道的掌控能力，使得在用户行为分析方面具有很好的数据基础，深入分析用户流量行为特征和规律，发现用户潜在消费需求，是提升价值和经营水平的有效手段。然而，不仅仅是数据规模越来越大，而且数据类型多和处理实时性要求都极大地增加了大数据处理的复杂度。大数据给传统的数据分析处理技术(例如并行数据库、数据仓库)带来的技术挑战。传统数据分析处理技术无法处理大数据的高扩展性和海量需求；传统数据分析处理往往只针对某一种类型数据和比较单一，大数据具有数据量巨大、结构复杂、类型众多等特点，这对大数据的存储、处理与分析提出了新的挑战。并行数据库的高效性和稳定性成为数据分析在性能上的首选。

在现有的网络环境中，数据的安全性一直是让人非常重视的问题，往往用户在进行数据的存储或读取的过程中，数据被非法篡改而无法察觉，从而造成更大的影响和损失；为此，我们提出一种分布式大数据处理系统。

发明内容

本发明的目的就在于提出一种分布式大数据处理系统，用以解决上述背景技术中需要解决的问题。

本发明的目的可以通过以下技术方案实现：一种分布式大数据处理系统，包括服务器、用户登录模块、数据获取模块、数据存储模块、信息推送模块、数据处理模块、安全模块以及数据仓库；

所述数据仓库内设置有若干个数据集群，所述数据集群由若干个子数据库单元组成，所述数据仓库用于数据存储和数据读取；

数据存储的具体过程如下：

步骤P1：将所有数据上传至安全模块，由安全模块对所需要存储的数据进行检测，对所需要存储的数据具体检测方式如下：

p1：将数据获取模块获取到的数据的大小Sdx上传至安全模块中，且若该数据内包含多个子数据，则将子数据的数量Szs与每个子数据的大小SzdXi上传至安全模块中，其中i＝1,2，……，Szs；

p2：将所获取到的数据代入公式SdS＝SzdX1+SzdX2+……+SzdXi，从而得到数据中所有的子数据的大小之和SdS；

p3：再将所获得的子数据的大小之和SdS与数据大小Sdx进行比较，当子数据的大小之和SdS等于Sdx的值，则判定为安全数据，并将安全数据重新上传至数据处理模块中进行压缩；当子数据的大小之和SdS大于Sdx的值，则判定含有隐藏的子数据，并标记为风险数据，同时将风险数据进行拦截，然后通过信息推送模块向管理员以及用户推送信息安全预警信息；

步骤P2：将安全数据上传至数据处理模块中，然后将数据进行压缩，再将压缩后的数据上传至数据仓库中；

步骤P3：数据进入数据仓库后，同步获取到用户的用户信息和账户，将数据与用户信息以及账户直接存储在数据集群内的子数据库单元内；

步骤P4：将数据存储至子数据库单元的时间进行记录，同时记录用户账号的下线时间以及最后一次登录的IP地址；

数据读取的过程具体如下：