[发明专利]通信数据同步及处理方法和系统

说明书

本发明公开了一种通信数据同步及处理方法和系统。方法包括：通过Hadoop的ZEUS工具主动拉取通信系统数据并直接同步至Hive，或，通过HTTP接口被动接收通信系统数据并存储到消息中间件，再通过ZEUS工具将消息中间件中的通信系统数据同步至Hive；将不同类型的通信系统数据分别存储到Hive中不同的表中；通过Spark对Hive中的通信系统数据进行分布式计算处理。本发明采用分布式非关系型数据库和分布式计算框架，突破常规关系型数据库的同步、存储和数据处理瓶颈，可以轻松应对几个千万级别表的关联查询及其他运算，提升了在海量数据的场景下系统的处理能力和效率。

技术领域

本发明属于大数据技术领域，尤其涉及一种通信数据同步及处理方法和系统。

背景技术

在当前的通信领域，通信系统每时每刻都在产生大量的通信数据，特别是拥有呼叫中心系统的企业，每天产生的通信数据是巨大的。例如话务记录、短信记录等。这就对后续数据处理带来很大的挑战。

常规关系型数据库在达到千万级别记录时，查询性能就开始大幅下降，严重影响了调用方的使用效率，在同步、存储和数据处理方面均存在瓶颈。

发明内容

本发明要解决的技术问题是为了克服现有技术中使用关系型数据库在同步、存储和数据处理方面存在的瓶颈，提供一种通信数据同步及处理方法和系统。

本发明是通过下述技术方案来解决上述技术问题：

一种通信数据同步及处理方法，包括：

通过Hadoop(一种分布式系统基础架构)的ZEUS工具(一种调度工具)主动拉取通信系统数据并直接同步至Hive(基于Hadoop的一个数据仓库)，或，通过HTTP接口被动接收通信系统数据并存储到消息中间件，再通过ZEUS工具将所述消息中间件中的通信系统数据同步至Hive；

将不同类型的通信系统数据分别存储到Hive中不同的表中；

通过Spark(一种计算引擎)对Hive中的通信系统数据进行分布式计算处理，将处理结果保存至MySQL(关系型数据库)中。

较佳地，Hive按时间进行分片存储。

较佳地，所述不同类型的通信系统数据至少包括中继类数据和业务类数据；Hive中不同的表至少包括用于存储所述中继类数据的中继记录表和用于存储所述业务类数据的业务记录表。

较佳地，所述通信系统数据由呼叫中心系统产生。

一种通信数据同步及处理系统，包括：

第一数据同步模块或第二数据同步模块；所述第一数据同步模块用于通过Hadoop的ZEUS工具主动拉取通信系统数据并直接同步至Hive；所述第二数据同步模块用于通过HTTP接口被动接收通信系统数据并存储到消息中间件，再通过ZEUS工具将所述消息中间件中的通信系统数据同步至Hive；以及，

数据存储模块，用于将不同类型的通信系统数据分别存储到Hive中不同的表中；

数据处理模块，用于通过Spark对Hive中的通信系统数据进行分布式计算处理，将处理结果保存至MySQL中。

较佳地，Hive按时间进行分片存储。

较佳地，所述不同类型的通信系统数据至少包括中继类数据和业务类数据；Hive中不同的表至少包括用于存储所述中继类数据的中继记录表和用于存储所述业务类数据的业务记录表。

较佳地，所述通信系统数据由呼叫中心系统产生。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。