[发明专利]流式海量数据的处理方法及系统

说明书

本发明提供一种流式海量数据的处理方法及系统，通过从任一分布式数据库获取各流式数据的轨迹文件，并对轨迹文件进行前置处理，生成预定格式的消息数据，将消息数据集中存储，不需要高度定制化的流式数据模型，从而使得流式数据获取过程更灵活；然后根据预定业务需求对消息数据进行数据处理；对数据处理结果进行统计分析，并输出数据处理结果和/或统计分析结果。本发明根据预定需求进行数据处理，可以与其他信息系统对接、实现新功能的扩展，从而实现快速响应业务变化、提高灵活性。

技术领域

本发明涉及通信技术领域，尤其涉及一种流式海量数据的处理方法及系统。

背景技术

随着互联网、移动互联网、数码设备、物联网等技术的发展，全球数据生产正在高速增长，信息已成为企业的战略资产，以进行用户行为分析、市场研究等。根据数据处理的时效性，数据处理系统可分为批式(batch)数据和流式(streaming)数据两类。

现有技术中，对于流式海量数据处理系统通常采用烟囱式架构也即垂直的体系结构，数据直接从各个数据源被直接抓取到最终目的地，进行特定业务的数据处理，采集、镜像、计算紧密耦合，中间无任何缝隙，可以快速响应了特定业务需求。

但是随着运行时间延长，现有技术的数据处理系统无法与其他信息系统对接、无法扩充新功能等缺乏系统规划的弊端就暴露无遗了，采集、镜像、计算紧密耦合，数据模型不够灵活，不能快速响应业务的变化，当发生业务变化时需要牵一发动全身，响应时间慢，成本高，不适合业务会经常变化的企业使用。

发明内容

本发明提供一种流式海量数据的处理方法及系统，以提高流式海量数据处理的灵活性，实现快速响应业务变化。

本发明的一个方面是提供一种流式海量数据的处理方法，该方法包括如下步骤：

从任一分布式数据库获取各流式数据的轨迹文件，并对所述轨迹文件进行前置处理，生成预定格式的消息数据，将所述消息数据集中存储；

根据预定业务需求对所述消息数据进行数据处理；

对数据处理结果进行统计分析，并输出所述数据处理结果和/或统计分析结果。

进一步的，所述输出所述数据处理结果和/或统计分析结果，具体包括：

提供与客户端连接的API接口，在接收到所述客户端发送的查询请求时通过所述API接口向所述客户端发送所述数据处理结果和/或所述统计分析结果；或者

将所述数据处理结果和/或所述统计分析结果卸载成文件或卸载到其他系统。

进一步的，所述将所述消息数据集中存储后，还包括：

对所述消息数据进行清洗和/或转换，并将清洗和/或转换后的消息数据进行存储。

进一步的，所述方法还包括：

对所述数据处理结果和/或所述统计分析结果进行数据的Context式存储；

所述将所述消息数据集中存储，包括：

对所述消息数据集中进行数据的Context式存储。

进一步的，所述从任一分布式数据库获取各流式数据的轨迹文件后，还包括：

对获取的所述轨迹文件进行同步稽核，以保证所述轨迹文件在传输过程的可靠性。

本发明的另一个方面是提供一种流式海量数据的处理系统，该系统具体包括：采集层、镜像层、计算层、统计分析层、以及结果同步层。

其中，采集层，用于从任一分布式数据库获取各流式数据的轨迹文件，并对所述轨迹文件进行前置处理，生成预定格式的消息数据；

镜像层，用于将所述消息数据集中存储；