[发明专利]一种大数据管理系统

权利要求书

1.一种大数据管理系统，其特征在于，包括：数据采集单元、数据并行处理单元、云存储单元、云存储加解密单元、数据访问权限认证单元、数据冗余判断单元以及数据重复删除单元；所述云存储单元，包括本地存储器和云存储器；所述云存储加解密单元分别与所述本地存储器、云存储器和数据访问权限认证单元连接；所述数据冗余判断单元分别与所述数据采集单元、所述本地存储器和所述云存储器连接；所述数据重复删除单元分别与所述本地存储器、所述云存储器和所述数据冗余判断单元连接。

2.如权利要求1所述的大数据管理系统，其特征在于，还包括：

一个或多个客户端，所述客户端与云存储加解密单元连接，通过访问所述云存储单元来确定是否有权限访问目标数据点并获取目标数据点所属的云存储单元的位置信息或直接访问该位置信息对应的云存储单元；以及缓存已访问的目标数据点所属的云存储单元的位置信息。

3.权利要求1所述的大数据管理系统，其特征在于，所述数据并行处理单元采用并行数据预处理技术，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成数据预处理。

4.权利要求1所述的大数据管理系统，其特征在于，所述云存储单元采用离散式分布数据存储端。

5.如权利要求4所述的大数据管理系统，其特征在于，所述离散式分布数据存储端，包括HBase结构数据库和HDFS结构数据库。

6.如权利要求4所述的大数据管理系统，其特征在于，所述离散式分布数据存储端，包括：MPP关系数据库和Hadoop结构数据库。

7.如权利要求1所述的大数据管理系统，其特征在于，还包括：

数据整合单元，用于整合离散的源数据，并将整合后的源数据存储至云存储单元。

8.如权利要求1所述的大数据管理系统，其特征在于，所述云存储加解密单元包括云存储安全加密芯片和云存储安全解密芯片，所述安全加密芯片和所述安全解密芯片采用安全套接层SSL和/或安全传输层TLS。

9.如权利要求8所述的大数据管理系统，其特征在于，所述安全加密芯片和所述安全解密芯片包含AES、RSA、SHA、OTP、RNG、GUID中的一种或多种安全处理单元。

10.根据权利要求1所述的大数据管理系统，其特征在于，所述数据访问权限认证单元采用RSA方式对数据进行加解密认证。