[发明专利]一种非结构化数据的处理方法和系统

说明书

本发明实施例提供了一种非结构化数据的处理方法和系统；所述系统包括：Hadoop生态系统、处理平台；其中所述Hadoop生态系统包括HDFS模块、HBase模块、MapReduce模块、HIVE模块、Sqoop模块、可视化组件；其中所述处理平台包括：数据整合层、数据存储模块、平台服务模块、数据管理模块、安全管理模块。

技术领域

本发明属于涉及信息技术领域，尤其涉及一种非结构化数据的处理方法和系统。

背景技术

数据，在企业中扮演的角色越来越重要。经过多年的信息化建设，很多企业已略有数据资产规模，同时要想保持长远的发展，还需要协调组织、利用现有的数据沉淀经验，并构建一个协同的企业生态。但据IDC调查，目前企业结构化数据仅占到全部数据量的20％，其余80％都是以文件形式存在的非结构化和半结构化数据，且这些非结构化数据每年增长率达60％。非结构化数据，顾名思义，是存储在文件系统的信息，包括视频、音频、图片、图像、文档、文本等形式，具有某种特定和持续的价值，这种价值在共享、检索、分析等使用过程中得到放大。如何处理这些海量的非结构化数据,是企业构建协同生态的关键一环其存储和流转。

现有技术中大都采用邮件、FTP以及QQ等IM工具为主。这些工具传递文件时速度不稳定，安全性得不到保障，并且无法很好地满足企业中一对多的高频数据传递场景。

发明内容

针对现有技术中存在的非结构化数据处理存在的问题，本公开实施例提出了一种非结构化数据的处理方法和系统。

为了解决上述问题，本公开实施例提出了一种非结构化数据的处理系统，包括：Hadoop生态系统、处理平台；

其中所述Hadoop生态系统包括HDFS模块、HBase模块、MapReduce模块、HIVE模块、Sqoop模块、可视化组件；

HDFS模块，该模块集成了kerberos，以实现数据存取访问的身份验证并提供数据存储安全；结合非结构化、半结构化数据的特点，封装优化数据块、数据切割、数据冗余等存储策略，实现高效、高吞吐的数据存储性能；封装分布式数据批量存储接口，融合分布式数据计算，支撑离线计算存取需求；封装分布式数据存储服务，满足业务应用非结构化、半结构化数据的存储需求。

HBase模块，该模块封装小文件存储接口，用户可透明化的进行大文件、小文件的存储，并自动路由存取适配介质；且提供二级索引技术，实现多维数据的高效低延时查询；封装分布式列式存储接口，融合分布式数据计算，支撑实时计算存取需求；封装分布式列表存储服务，满足业务应用非结构化、半结构化、结构化的低延时的存储需求；

MapReduce模块，该模块集成kerberos，实现数据离线计算访问提交的身份验证，提供集群的安全性；封装优化数据IO操作、数据压缩等策略，优化离线计算性能；封装任务调度策略，满足不同场景的离线计算任务调度需求；封装离线任务接口，满足高效离线计算需求；封装分布式离线任务服务，满足业务应用批量离线计算的需求；

HIVE模块，该模块封装了HIVE组件事务操作接口以提供事务能力；封装JDBC操作接口以满足业务应用数据操作；

Sqoop模块，该模块封装离线数据抽取接口以满足数据整合需求；

可视化组件，该组件统一可视化组件参数标准以适配可视化设计器；封装完善可视化组件库以提供丰富的业务指标数据展现；

其中所述处理平台包括：数据整合层、数据存储模块、平台服务模块、数据管理模块、安全管理模块；

数据整合层，其采用实时消息队列、离线数据抽取工具、文件数据采集工具、增量数据库捕获工具，导入非结构化数据，对各类数据按照统一数据规范进行标准化、格式转换及关联处理后，采用分布式文件、非关系型数据库等存储技术进行存储；