[发明专利]大数据管理系统

说明书

本发明涉及计算机组成领域，具体涉及大数据管理系统，其数据管理服务器设有集成工具、备份工具和分类工具；数据分析装置设有模型建立模块和相似评估模块；集成工具对多个数据管理服务器上的数据集成组合；在组合数据的基础上使用RMAN备份工具得到RMAN备份数据；在RMAN备份数据的基础上逻辑备份工具得到逻辑备份数据，保存到备份服务器；模型建立模块使用Scikit‑Learn库、协同过滤算法和机器学习技术建立相似度模型，划出两个数据之间的相似簇类和关联簇类；相似评估模块使用相似度模型查找相似的数据，查询两个数据之间的相似点并计算相似率；通过两种备份工具配合使用提高备份效率，完整备份数据繁多的大型数据；通过建立相似度模型查找相似之处。

技术领域

本发明涉及数据管理领域，具体涉及大数据管理系统。

背景技术

分布式存储服务器一般采用数据库来存储数据，包括论文、策划 和实验数据等，其备份方式主要有两种，物理备份和逻辑备份；物理 备份能实现OARCLE数据库的完整恢复，但是它涉及到数据库的具体 数据，像普通的物理拷贝数据一样进行备份，因此需要比较大的外部 存储空间；逻辑备份遇到大型的数据库则会力不从心，因为耗时太长， 效率太低。当前论文或实验成果等抄袭严重，需要一一对比，查找相 似数据，杜绝不规范不合理数据。

发明内容

针对上述问题，本发明提供大数据管理系统，解决数据多时备份 不方便和数据抄袭的问题，并合理分类数据。

为了解决上述技术问题，本发明采用如下技术方案：

大数据管理系统，包括多个数据管理服务器、数据分析装置和备 份服务器，所述数据管理服务器设有集成工具、备份工具和分类工具； 所述集成工具包括SPSS或ETL；所述备份工具包括RMAN备份工具和 逻辑备份工具；所述数据分析装置设有模型建立模块和相似评估模块； 其备份流程如下：

S11：所述集成工具对多个数据管理服务器上的数据集成组合， 得到组合数据；

S12：备份周期的第一节点，在组合数据的基础上使用RMAN备份 工具得到RMAN备份数据并保存到备份服务器；

S13：备份周期的第二节点，在RMAN备份数据的基础上使用逻辑 备份工具得到逻辑备份数据，保存到备份服务器。

可选的，所述分类工具包括全量数据单元、增量数据单元、格网 数据单元、标识单元和安置单元，各单元联系流程如下：

S21：所述全量数据单元采集组合数据的全量数据并传入数据库；

S22：所述增量数据单元采集组合数据的增量数据并传入数据库；

S23：所述格网数据单元将全量数据、增量数据流化处理，打散 为格网数据；

S24：所述标识单元根据数据来源、分布规律、人工发现进行类 型标识；

S25：所述安置单元整理、保存和发送数据至数据分析装置。

可选的，所述模型建立模块使用Scikit-Learn库、协同过滤算 法和机器学习技术建立相似度模型；所述模型建立模块还使用 k-means算法进行无监督学习，划出两个数据之间的相似簇类和关联 簇类。

可选的，所述相似评估模块使用相似度模型查找相似的数据，并 通过相似簇类和关联簇类查询两个数据之间的相似点并计算相似率， 超过30％则判断为抄袭。

可选的，所述多个数据管理服务器包括多个小型计算机和存储器； 每台计算机中具有局部的数据并均有一份部分数据副本；每台计算机 单独放置，位于不同地点的计算机通过光纤相连接。

可选的，所述备份服务器为光纤存储服务器，所述光纤存储服务 器与所述多个数据管理服务器通过光纤相连接。