[发明专利]一种基于WEB分析的分布式处理方法和系统

说明书

技术领域

本发明涉及互联网WEB分析相关领域。

背景技术

随着互联网的发展，WEB分析已经成为企业了解、优化在线业务的重要 手段。而在WEB分析领域，需要处理的数据量级是非常庞大的，如何对这些 海量的在线业务数据进行高效地并行处理，以实时或准实时(一般可延迟一 天，即：今天显示昨日的各纬度分析数据)的方式呈现给顾客，并通过增加 服务器就可以进行任意扩容，是众多WEB分析工具提供商需要解决的难题。

目前市场上的WEB分析工具在这种海量的数据面前缺乏有效的方法，在 高效性、可靠性、扩展性和可管理性等方面都有所欠缺。

发明内容

为了解决上述存在的问题，本发明公开了一种基于WEB分析的分布式处 理方法和系统，包括：数据农场、数据加工厂、分布式数据仓库和数据呈现 中心四个工作模块。本发明的核心思想是：

(1)数据农场从多种数据源采集顾客数据；

(2)将这些海量的顾客原始数据并行写入分布式数据仓库中；

(3)数据加工厂从分布式数据仓库中读出顾客原始数据，进行并行计算 和二次处理；

(4)二次处理后的结果数据回写到分布式数据仓库中；

(5)数据呈现中心利用并行查询技术，让使用者方便地通过WEB查看 原始数据和二次处理后的数据。

上述顾客数据包括定量数据、定性数据和商业数据。其中，定量数据是指 顾客在网络上(尤其是WEB上)的匿名来访行为，包括但不限于顾客的匿名 特征(如：Cookie标识、IP地址、来源地域、来源运营商、来源媒体等)、访 问行为(如：浏览动作、访问过程、访问内容、点击动作、行为轨迹、网上 客服咨询行为)等；定性数据是顾客在现实社会中的属性与特征数据，包括 性别、年龄、职业、上网时间特征、上网访问内容习惯等；商业数据是指顾 客商业行为，包括顾客在WEB上所有详细的消费行为属性和购物记录。

本发明可以针对海量的WEB营销数据进行高效处理，在高效性、可靠性、 扩展性和可管理性等方面都有所突破，可应用于互联网WEB分析等领域。

本发明填补了WEB分析等领域的一项空白。

具体实施方式

本发明采用的技术方案是：在WEB分析的采集、存储、计算、呈现等环 节，采用了一种基于WEB分析的分布式处理方法和系统，该系统包括数据农 场、数据加工厂、分布式数据仓库和数据呈现中心四大工作模块。

具体工作流程如下：

(1)首先，数据农场从多种数据源中收割、采集顾客数据；

(2)然后，数据农场将这些海量的顾客原始数据并行写入分布式数据仓 库中。分布式数据仓库中包括多个存储节点，这些节点分工协作，共同分布 式存储这些顾客原始数据；

(3)数据加工厂从分布式数据仓库中读出这些顾客原始数据，进行二次 处理；

(4)数据加工厂将二次处理后的结果数据回写到分布式数据仓库中。分 布式数据仓库的多个存储节点分工协作，共同分布式存储这些二次处理后的 顾客数据；

(5)数据呈现中心利用并行查询技术，让使用者方便地通过WEB查看 原始数据和二次处理后的数据。

优选地，所述顾客数据包括定量数据、定性数据和商业数据。

优选地，所述采集顾客数据的方式为并行地从多个数据源中采集。

优选地，所述数据农场的数据采集过程是由多个并行工作的队列节点完成 的；

优选地，所述数据采集环节上，应用消息队列技术，确保在数据源有超大 的突发流量时仍然能够很均匀地操作数据库，确保顾客数据不会丢失，系统 也不会崩溃。

优选地，所述数据农场是将顾客数据写入分布式数据仓库中；

优选地，所述分布式数据仓库是由多个分布式的存储节点构成，每个存储 节点内安装一套数据库。分布式数据仓库在外部看来就是一个数据库；

优选地，所述数据加工厂是将分布式数据仓库中的顾客数据进行二次处 理，并将处理过的结果数据写回到分布式数据仓库中；

优选地，所述数据加工厂的二次处理过程是由多个并行工作的计算节点共 同完成的；

优选地，所述数据呈现中心是将分布式数据仓库中的原始顾客数据和二次 处理后的顾客数据通过WEB方式呈现出来；