[发明专利]一种非结构化数据的处理方法和系统

权利要求书

1.一种非结构化数据的处理系统，其特征在于，包括：Hadoop生态系统、处理平台；

其中所述Hadoop生态系统包括HDFS模块、HBase模块、MapReduce模块、HIVE模块、Sqoop模块、可视化组件；

HDFS模块，该模块集成了kerberos，以实现数据存取访问的身份验证并提供数据存储安全；结合非结构化、半结构化数据的特点，封装优化数据块、数据切割、数据冗余等存储策略，实现高效、高吞吐的数据存储性能；封装分布式数据批量存储接口，融合分布式数据计算，支撑离线计算存取需求；封装分布式数据存储服务，满足业务应用非结构化、半结构化数据的存储需求。

HBase模块，该模块封装小文件存储接口，用户可透明化的进行大文件、小文件的存储，并自动路由存取适配介质；且提供二级索引技术，实现多维数据的高效低延时查询；封装分布式列式存储接口，融合分布式数据计算，支撑实时计算存取需求；封装分布式列表存储服务，满足业务应用非结构化、半结构化、结构化的低延时的存储需求；

MapReduce模块，该模块集成kerberos，实现数据离线计算访问提交的身份验证，提供集群的安全性；封装优化数据IO操作、数据压缩等策略，优化离线计算性能；封装任务调度策略，满足不同场景的离线计算任务调度需求；封装离线任务接口，满足高效离线计算需求；封装分布式离线任务服务，满足业务应用批量离线计算的需求；

HIVE模块，该模块封装了HIVE组件事务操作接口以提供事务能力；封装JDBC操作接口以满足业务应用数据操作；

Sqoop模块，该模块封装离线数据抽取接口以满足数据整合需求；

可视化组件，该组件统一可视化组件参数标准以适配可视化设计器；封装完善可视化组件库以提供丰富的业务指标数据展现；

其中所述处理平台包括：数据整合层、数据存储模块、平台服务模块、数据管理模块、安全管理模块；

数据整合层，其采用实时消息队列、离线数据抽取工具、文件数据采集工具、增量数据库捕获工具，导入非结构化数据，对各类数据按照统一数据规范进行标准化、格式转换及关联处理后，采用分布式文件、非关系型数据库等存储技术进行存储；

数据存储模块，基于x86服务器集群，采用关系数据库PostgreSQL、分布式文件系统HDFS、分布式列式数据库HBase、内存数据库等存储技术，构建关系型数据存储、非关系型数据存储、分布式文件存储等数据存储体系，存储结构化数据、准实时数据、非结构化数据、半结构化数据，提高数据存储的横向扩展能力与高并发条件下的快速数据响应能力，满足数据准实时存储需求；

平台服务模块，通过API、JDBC技术对存储、计算、分析展现进行统一的接口封装以提供统一的服务；

数据管理模块，通过基础数据管理组件、数据质量管理组件、数据流转监测组件和数据运维管理组件，实现统一的数据管理；

平台管理模块，用于进行集群监控和网络监控；采用开源组件ZooKeeper提供分布式应用程序协调服务；采用开源组件Yarn提供统一的资源管理和调度；采用开源组件Quartz作为作业调度引擎；并在此基础上封装形成安装部署组件、资源管理组件和作业调度组件。

安全管理模块，用于构建平台安全和数据安全组件。