[发明专利]一种运营数据处理方法及系统

说明书

技术领域

本发明涉及通信领域，更具体地说，涉及一种运营数据处理方法及系统。

背景技术

现有经营分析系统一般采用单一的数据仓库提供数据处理能力，通过数据仓库提供的ETL工具进行数据的抽取、加载和转换，之后再利用数据仓库的数据分析和关联处理能力应对前端业务需求。传统数据仓库厂商的产品基于关系模型的高性能数据查询和分析，主要处理结构化数据的高性能查询和分析；成熟内建数据挖掘算法，并提供成熟的报表工具和数据访问接口，目前已经在银行、电信等具有大量数据的行业广泛使用。但随着移动互联网的迅速发展，大量由互联网产生的非结构化数据需要分析和处理，但企业级数据仓库不适合非结构化数据处理；海量数据规模下，数据仓库在大数据的存储和分析方面都显得能力不足；除此之外，传统数据仓库对于实时需求的处理能力不足，无法支持实时性应用。

面对移动互联网和大数据时代的挑战，经营分析系统的服务对象越来越广泛、业务量、数据量越来越大，经营分析系统需要对内容、音频、文本信息、视频、图片等非结构化的海量的数据信息进行有效分析，这些数据难以像用户资料、账单一样纳入数据仓库进行批量处理，传统数据仓库无法处理这些新型的业务数据，Hadoop的MapReduce的批处理方式在某些情况下也不适合处理这种类型的数据，并且在及时性和处理效率方面，传统数据仓库存在天生的缺陷。

部分企业尝试在经营分析系统中通过小批次处理(Micro-batch)的方法来解决上述处理处理效率和及时性的问题，但是这些方案都是基于原有批处理的思路解决实时处理的问题，这种过渡性的解决方案不能从本质上满足数据实时处理的需求，随着数据量的极速膨胀，这种方案有其局限性。

随着移动互联网的迅猛发展，用户数据正在以几何级数迅猛增长。由于传统数据仓库的扩展需要企业级硬件的的支持，且很难做到水平线性扩展，因此传统数据仓库的扩展能力不足，不能支撑迅猛增长的数据的存储。

现有技术中的流式计算产品并没有与经营分析系统自身特点和架构设计特点进行整合的应用案例。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种运营数据处理方法及系统。

该方法及系统提供了流式计算技术在经营分析系统的技术和架构落地实现，用于解决非结构化数据的实时业务数据、海量数据的实时分析、数据处理的效率和及时性的问题，同时解决海量数据的存储和分析问题。

本发明解决其技术问题所采用的技术方案是：提供一种运营数据处理方法。

优选地，本发明的运营数据处理方法包括以下步骤：

S1：运维管理中心（5）根据需要确定要调用的数据应用装置（4）的数据应用模块及数据获取装置（1）需要获取的数据；

S2：所述运维管理中心（5）控制所述数据获取装置（1）中的实时获取模块（11）获取实时数据，并控制数据获取装置（1）中的批量获取模块（12）批量获取非实时数据，所述数据获取装置（1）中的预处理模块（13）对获取的实时数据与非实时数据进行预处理，将所述实时数据与非实时数据进行格式标准化，并将非实时数据中的结构化数据与实时数据中的结构化数据传输到数据处理装置（2）的分布式文件系统（21）中，并根据业务需要，把所述数据获取装置（1）获取的数据中的相应数据传输到数据处理装置（2）的流式计算引擎（22）中；

S3：数据处理装置（2）中的分布式文件系统（21）对其正常运行需要的辅助软件系列进行软件系统集成，并将其获取的非实时数据中的非结构化数据进行存储，数据处理装置（2）中的数据仓库（23）将其获取的结构化数据进行存储；

S4：数据处理装置（2）中的在线数据分析模块（25）控制流式计算引擎（22）对传输到流式计算引擎（22）中的数据进行流式计算、控制数据仓库（23）对所述结构化数据中的实时营销数据进行在线数据分析，数据处理装置（2）中的离线数据分析模块（26）控制所述数据仓库（23）采用微批处理方法对其中存储的所述结构化数据中的非实时数据进行离线数据分析，控制批量计算引擎（24）采用批处理方法对所述分布式文件系统（21）存储的非实时数据中的非结构化数据进行离线数据分析；所述数据处理装置（2）将经所述流式计算引擎（22）、数据仓库（23）、批量计算引擎（24）计算后的全部数据传输到数据通信装置（3）；

S5：数据通信装置（3）将经过所述数据处理装置（2）处理后的数据传输到数据应用装置（4）；

S6：数据应用装置（4）的数据应用模块（41、42、43）应用接收的数据提供数据应用服务。