[发明专利]一种运营数据处理方法及系统

摘要

本发明涉及一种运营数据处理方法及系统。具体来说，提供一种基于流式计算与批量计算的双引擎经营分析系统的运营数据处理方法及系统。在系统架构中设置流式计算引擎（22），增强了数据的实时处理能力，并在数据仓库（23）的基础上整合分布式文件系统（21）以及批量计算引擎（24），用于非结构化数据、大批量数据的存储与计算，增强了对大数据的存储与分析能力，可提供支持TB、甚至PB级规模数据存储和大数据批量处理能力。同时使用数据仓库（23）处理结构化数据，还可结合微批处理方法处理微批量实时数据，进一步完善了实时数据处理机制。

主权项

一种运营数据处理方法，其特征在于，包括以下步骤：S1：运维管理中心(5)根据需要确定要调用的数据应用装置(4)的数据应用模块及数据获取装置(1)需要获取的数据；S2：所述运维管理中心(5)控制所述数据获取装置(1)中的实时获取模块(12)获取实时数据，并控制数据获取装置(1)中的批量获取模块(12)批量获取非实时数据，所述数据获取装置(1)中的预处理模块(13)对获取的实时数据与非实时数据进行预处理，将所述实时数据与非实时数据进行格式标准化，并将非实时数据中的结构化数据与实时数据中的结构化数据传输到数据处理装置(2)的分布式文件系统(21)中，并根据业务需要，把所述数据获取装置(1)获取的数据中的相应数据传输到数据处理装置(2)的流式计算引擎(22)中；S3：数据处理装置(2)中的分布式文件系统(21)对其正常运行需要的辅助软件系列进行软件系统集成，并将其获取的非实时数据中的非结构化数据进行存储，数据处理装置(2)中的数据仓库(23)将其获取的结构化数据进行存储；S4：数据处理装置(2)中的在线数据分析模块(25)控制流式计算引擎(22)对传输到流式计算引擎(22)中的数据进行流式计算、控制数据仓库(23)对所述结构化数据中的实时营销数据进行在线数据分析，数据处理装置(2)中的离线数据分析模块(26)控制所述数据仓库(23)采用微批处理方法对其中存储的所述结构化数据中的非实时数据进行离线数据分析，控制批量计算引擎(24)采用批处理方法对所述分布式文件系统(21)存储的非实时数据中的非结构化数据进行离线数据分析；所述数据处理装置(2)将经所述流式计算引擎(22)、数据仓库(23)、批量计算引擎(24)计算后的全部数据传输到数据通信装置(3)；S5：数据通信装置(3)将经过所述数据处理装置(2)处理后的数据传输到数据应用装置(4)；S6：数据应用装置(4)的数据应用模块(41、42、43)应用接收的数据提供数据应用服务；其中，流式计算引擎(22)的拓扑结构包括：主节点A、扩展节点B、NFS共享文件系统S、和以太交换机C，主节点A由多台内置大容量硬盘通用X86架构服务器构成，其中一台服务器用作控制节点，其他服务器用作计算节点，扩展节点B由多台与主节点A硬件配置相同的服务器构成，各服务器磁盘存储构成NFS共享文件系统S，各个服务器的存储互不共享，数据存放至本地硬盘，网络交换以一台千兆网以太交换机C为核心，构成基础网络环境，链接所有服务器设备，负责网络环境中的设备内联和外联。