[发明专利]海量数据处理方法和系统

说明书

技术领域

本发明涉及数据处理领域，特别涉及一种海量数据处理方法和系统。

背景技术

随着电信业务的不断发展，电信业务从语音业务的CDR（Call Detail Record，呼叫详细记录）发展为数据业务的UDR（User Data Record，用户数据记录），记录规模从千万条增长100倍发展到数十亿条，数据处理规模正由TB（TeraByte，太字节）级别向PB（PetaByte）级别发展。

对于海量数据，如用户上网行为的UDR海量日志，传统的ETL（Extract Transform Load，抽取转换装载）数据处理方法采用串行处理方式，也就是将海量数据文件逐个的采集到本地服务器，然后逐个完成数据文件的字段提取、格式转换等数据清洗的工作，最后通过传统数据仓库提供的单个数据访问点，将清洗后的数据文件串行的导入数据仓库，完成海量数据处理。

上述传统的海量数据处理方法采用串行处理方式，存在处理时间较长、处理效率较低、处理速度较慢的问题。

发明内容

本发明实施例所要解决的技术问题是：提供一种海量数据处理方法和系统，以解决传统海量数据处理方法存在的处理时间较长、处理效率较低、处理速度较慢的问题。

根据本发明实施例的一个方面提供的一种海量数据处理方法，包括：并行采集多个数据文件；将每个所述数据文件划分成多个独立的数据块，分别存储所述数据块；对每个所述数据块进行清洗；将清洗后的每个所述数据块保存到数据仓库。

可选的，所述并行采集多个数据文件包括：同时启动多个采集子任务，多个所述采集子任务并行采集多个所述数据文件。

可选的，所述分别存储所述数据块包括：将多个所述数据块分散存储到云平台的分布式文件系统上。

可选的，所述对每个所述数据块进行清洗包括：同时启动多个数据处理子任务，多个所述数据处理子任务并行对多个所述数据块进行数据读取、字段提取和格式转换。

可选的，所述将清洗后的每个所述数据块保存到数据仓库包括：利用所述数据仓库提供的多个数据访问点，同时将清洗后的每个所述数据块保存到所述数据仓库。

根据本发明实施例的另一个方面提供的一种海量数据处理系统，包括：并行采集装置，用于并行采集多个数据文件；分散存储装置，用于将每个所述数据文件划分成多个独立的数据块，分别存储所述数据块；清洗装置，用于对每个所述数据块进行清洗；入库装置，用于将清洗后的每个所述数据块保存到数据仓库。

可选的，所述并行采集装置，用于同时启动多个采集子任务，多个所述采集子任务并行采集多个所述数据文件。

可选的，所述分散存储装置，用于将每个所述数据文件划分成多个独立的数据块，并将多个所述数据块分散存储到云平台的分布式文件系统上。

可选的，所述清洗装置，用于同时启动多个数据处理子任务，多个所述数据处理子任务并行对多个所述数据块进行数据读取、字段提取和格式转换。

可选的，所述入库装置，用于利用所述数据仓库提供的多个数据访问点，同时将清洗后的每个所述数据块保存到所述数据仓库。

基于本发明提供的海量数据处理方法和系统，通过并行采集和分散存储的数据处理方式，有效解决了数据输入的瓶颈限制，提高数据输入的效率，并且数据块分散存储为后续的并行处理提供了前提条件；通过多个数据块并行清洗的方式，解决了数据清洗过程中的串行限制，提升了数据清洗的效率；通过多个数据访问点，可以将海量数据并行导入数据仓库，节省了数据加载的时间。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明海量数据处理方法一个实施例的流程图；

图2为本发明一个实施例并行采集和分散存储的流程图；

图3为本发明一个实施例并行清洗和并行入库的流程图；

图4为本发明海量数据处理方法一个实施例的流程图；

图5为本发明海量数据处理方法一个实施例的时序图；

图6为本发明海量数据处理系统一个实施例的结构示意图；

图7为本发明海量数据处理系统另一个实施例的架构示意图。

具体实施方式