[发明专利]一种运营数据处理方法及系统

权利要求书

1.一种运营数据处理方法，其特征在于，包括以下步骤：

S1：运维管理中心(5)根据需要确定要调用的数据应用装置(4)的数据应用模块及数据获取装置(1)需要获取的数据；

S2：所述运维管理中心(5)控制所述数据获取装置(1)中的实时获取模块(12)获取实时数据，并控制数据获取装置(1)中的批量获取模块(12)批量获取非实时数据，所述数据获取装置(1)中的预处理模块(13)对获取的实时数据与非实时数据进行预处理，将所述实时数据与非实时数据进行格式标准化，并将非实时数据中的结构化数据与实时数据中的结构化数据传输到数据处理装置(2)的分布式文件系统(21)中，并根据业务需要，把所述数据获取装置(1)获取的数据中的相应数据传输到数据处理装置(2)的流式计算引擎(22)中；

S3：数据处理装置(2)中的分布式文件系统(21)对其正常运行需要的辅助软件系列进行软件系统集成，并将其获取的非实时数据中的非结构化数据进行存储，数据处理装置(2)中的数据仓库(23)将其获取的结构化数据进行存储；

S4：数据处理装置(2)中的在线数据分析模块(25)控制流式计算引擎(22)对传输到流式计算引擎(22)中的数据进行流式计算、控制数据仓库(23)对所述结构化数据中的实时营销数据进行在线数据分析，数据处理装置(2)中的离线数据分析模块(26)控制所述数据仓库(23)采用微批处理方法对其中存储的所述结构化数据中的非实时数据进行离线数据分析，控制批量计算引擎(24)采用批处理方法对所述分布式文件系统(21)存储的非实时数据中的非结构化数据进行离线数据分析；所述数据处理装置(2)将经所述流式计算引擎(22)、数据仓库(23)、批量计算引擎(24)计算后的全部数据传输到数据通信装置(3)；

S5：数据通信装置(3)将经过所述数据处理装置(2)处理后的数据传输到数据应用装置(4)；

S6：数据应用装置(4)的数据应用模块(41、42、43)应用接收的数据提供数据应用服务；

其中，流式计算引擎(22)的拓扑结构包括：主节点A、扩展节点B、NFS共享文件系统S、和以太交换机C，主节点A由多台内置大容量硬盘通用X86架构服务器构成，其中一台服务器用作控制节点，其他服务器用作计算节点，扩展节点B由多台与主节点A硬件配置相同的服务器构成，各服务器磁盘存储构成NFS共享文件系统S，各个服务器的存储互不共享，数据存放至本地硬盘，网络交换以一台千兆网以太交换机C为核心，构成基础网络环境，链接所有服务器设备，负责网络环境中的设备内联和外联。

2.根据权利要求1所述的运营数据处理方法，其特征在于，所述步骤S1中，所述运维管理中心(5)根据所述数据应用装置(4)的数据应用模块的需要确定所述数据获取装置(1)需要获取的数据。

3.根据权利要求1所述的运营数据处理方法，其特征在于，所述非实时数据中的结构化数据包括移动通信业务运营系统的经营数据。

4.根据权利要求1所述的运营数据处理方法，其特征在于，所述非实时数据中的非结构化数据包括移动通信网元侧的日志、信令、互联网数据。

5.根据权利要求1所述的运营数据处理方法，其特征在于，所述步骤S4中的批量计算引擎(24)采用Hadoop技术处理数据。