[发明专利]大数据平台文件检索和共享的系统及其方法

说明书

本发明公开了大数据平台文件检索和共享的系统及其方法，其包括：服务器和布置在所述服务器上的平台系统集群，所述平台系统集群包括：数据采集子平台系统：通过客户端实时采集数据，通过Flume将数据及时传送；数据处理子平台系统；将数据采集子平台系统采集所得的数据在进行处理之前，使用自然语言处理系统，倒排序算法实现数据内容全文的检索，然后进行数据处理；数据存储子平台系统：分区存储不同的数据信息；共享与交换子平台系统：将数据信息进行共享和交换，输出数据。本发明通过海量的大数据进行数据的全量计算和存储，上传方便且用户文件检索便捷，并且还可以在检索后直接进行共享，使得整个平台方便使用。

技术领域

本发明属于大数据技术领域，特别是涉及一种大数据平台文件检索和共享的系统及其方法。

背景技术

当今世界，信息化浪潮席卷全球，大数据、云计算、物联网等蓬勃发展，使互联网时代迈上一个新台阶，大数据技术无疑是整个信息行业乃至整个社会的热点话题，各行各业都在探讨大数据可以为自身所在的行业带来怎样的变化和提升，以实现“人在干、数在转、云在算”的价值理念为最高目标。

大数据技术以其容量大、读写快、应用范围广泛等优势飞速发展，成为当下最重要的数据集合技术及信息服务和管理技术。大数据技术能够帮助科技与产业实现交叉融合，帮助人类开发新的知识、创立新的产业、提升传统领域的价值和能力。因此，大数据正逐渐成为当今社会产业革命、群体跃进的重要标志和实现工具。但是，如何将大数据检索所得进行有效的共享，确保检索后的大数据能够更加的便捷使用。

另外，大数据平台基于开源分布式框架Hadoop为基础并深度优化，且整合大量优秀开源技术框架，形成以数据分布式采集，大数据聚合传输，数据分布式存储，实时和离线数据分析计算，智能全文检索，大数据可视化等构成大数据生态系统。传统的数据库无法支撑在海量数据全量计算及存储，使用起来十分不便。

因此，如何解决上述现有技术存在的缺陷成为了该领域技术人员努力的方向。

发明内容

本发明的目的就是提供一种大数据平台文件检索和共享的系统及其方法，能完全解决上述现有技术的不足之处。

本发明的目的通过下述技术方案来实现：一种大数据平台文件检索和共享的系统及其方法，其包括：

服务器和布置在所述服务器上的平台系统集群，所述平台系统集群包括：

数据采集子平台系统：通过客户端实时采集数据，通过Flume将数据及时传送；

数据处理子平台系统；将数据采集子平台系统采集所得的数据在进行处理之前，使用自然语言处理系统，倒排序算法实现数据内容全文的检索，然后进行数据处理；

数据存储子平台系统：分区存储不同的数据信息；

共享与交换子平台系统：将数据信息进行共享和交换，输出数据。

作为一种优选方式之一，所述数据输入处理流程包括如下步骤：

第一步：用户向大数据中心平台发起文件上传请求；

第二步：所述大数据中心平台利用所述用于大数据中心平台数据采集单元中的文件上传模块控制数据采集器上传文件；

第三步：通过所述用于大数据中心平台中的内容审查模块对用户请求上传的文件内容进行安全审查，判断其内容是否安全；若文 件不安全，则结束上传；若文件安全，文件接收模块进行文件接收；

第四步：通过所述用于大数据中心数据处理单元，对文件内容进行内容读取、特征提取和索引构建；

第五步：将文件和索引文件进行分开存储，

第六步：通过所述大数据中心数据的共享与交换单元，对文件内容进行文件检索、文件共享和安全传输。