[发明专利]一种数据处理系统及方法

说明书

本发明提供了一种数据处理系统及方法，其系统包括：数据源群组，第一数据采集群组，第一数据分发群组，数据处理群组和数据储存服务器；第一数据采集群组分别与数据源群组和第一数据分发群组连接，数据处理群组分别与第一数据分发群组和数据储存服务器连接；第一数据采集群组，采集数据源群组上传的上传文件，并上传上传文件至第一数据分发群组；第一数据分发群组，分发上传文件至数据处理群组；数据处理群组，实时分析上传文件得到日志信息；日志信息包括特征值；数据储存服务器，根据特征值，分类储存日志信息至对应的储存分区。本发明实现提升数据处理效率和可靠性。

技术领域

本发明涉及数据处理领域，尤指一种数据处理系统及方法。

背景技术

随着信息化的发展，关于上传文件呈海量增长，而且这些上传文件往往需要很长的保存期，而随着时间的增长和数据的增加，对数据存储空间的需求会越来越大，传统的关系数据库恐怕难以满足存储需求， Hadoop分布式技术的发展正好可以解决以上问题。

Hadoop(hdfs)是Apache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，构建一个高可靠性和良好扩展性的并行分布式系统。HDFS、MapReduce编程模型和Hbase分布式数据库是其三大核心技术。其中，HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。

由于hadoop分布式技术的强大优势，越来越多的使用hadoop分布式进行实时储存海量数据，但是在大数据业务中，数据的时效性和精确性是两个重要指标，其中时效性是大数据架构中，上传文件处理策略中一直追求的，尽管现在已经存在许多实时数据处理架构，但是数据处理和数据入库储存的时效性仍然不够。

发明内容

本发明的目的是提供一种数据处理系统及方法，实现提升数据处理效率和可靠性。

本发明提供的技术方案如下：

本发明提供一种数据处理系统，包括：数据源群组，第一数据采集群组，第一数据分发群组，数据处理群组和数据储存服务器；所述第一数据采集群组分别与所述数据源群组和所述第一数据分发群组连接，所述数据处理群组分别与所述第一数据分发群组和所述数据储存服务器连接；所述第一数据采集群组，采集所述数据源群组上传的上传文件，并上传所述上传文件至所述第一数据分发群组；所述第一数据分发群组，分发所述上传文件至所述数据处理群组；所述数据处理群组，实时分析所述上传文件得到日志信息；所述日志信息包括特征值；所述数据储存服务器，根据所述特征值，分类储存所述日志信息至对应的储存分区。

进一步的，所述第一数据采集群组包括：若干个第一采集器；所述第一采集器包括：第一获取模块、第一判断模块、第一采集模块和第一控制模块；所述第一获取模块与所述第一判断模块连接，所述第一判断模块分别与所述第一采集模块和所述第一控制模块连接；所述第一获取模块，获取当前时刻自身的第一状态值；所述第一判断模块，判断所述第一状态值是否与第一预设状态值匹配；所述第一采集模块，当判断所述第一状态值与所述第一预设状态值匹配时，采集所述上传文件；所述第一控制模块，当判断所述第一状态值与所述第一预设状态值不匹配时，标记工作状态为异常，并下发采集开启指令至第一目标采集器。