[发明专利]基于数据仓库处理用户浏览行为数据的方法及系统

权利要求书

1.一种基于自动构建的数据仓库处理用户浏览行为数据的方法，其特征在于，包括：

获取用户浏览行为原始数据，并加以保存；

将所述用户浏览行为原始数据抽取到数据存储服务器中，得到用户浏览行为原始数据表；

根据所述用户浏览行为原始数据表自动构建数据仓库从而生成基于各业务主题的业务主题汇总表；

根据数据服务需求，将所述业务主题汇总表构建成应用表，

其中，根据所述用户浏览行为原始数据表自动构建数据仓库还包括：

根据业务需求构建数据模型表结构；

将所述用户浏览行为原始数据表加载数据模型表结构中，生成数据模型表；

按照业务主题汇总所述数据模型表，生成业务主题汇总表，从而完成数据仓库的自动构建。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取用户浏览行为原始数据之后，对所述用户浏览行为原始数据进行清洗，剔除干扰数据，所述干扰数据包括爬虫浏览记录、未登录用户浏览记录以及页面默认浏览记录中的一种或几种。

3.根据权利要求1所述的方法，其特征在于，将用户浏览行为原始数据抽取到数据存储服务器中还包括：定期将所述用户浏览行为原始数据抽取到Hadoop服务器中，并将所述用户浏览行为原始数据分区存储。

4.根据权利要求1所述的方法，其特征在于，根据所述用户浏览行为原始数据表自动构建数据仓库还包括：

将抽取到的各业务系统的用户浏览行为原始数据表及原始字段与数据仓库的元数据一一对应，得到统一格式的用户浏览行为数据表及字段；

根据预先定义的关键字段信息，对所述用户浏览行为数据表进行搜索，得到总体信息表和关键字段关联信息表，所述关键字段信息包含一个或多个具有关联关系的关键字段，所述总体信息表记录所述关键字段信息中各关键字段以及各关键字段的主表和附表在所述用户浏览行为数据表中的表号信息，所述关键字段关联信息表记录所述关键字段信息中各关键字段之间的关联关系；

根据预先定义的业务指标，结合所述总体信息表及所述关键字段关联信息表，得到数据模型表结构和处理逻辑；

根据所述数据模型表结构和所述处理逻辑，结合所述用户浏览行为数据表，生成数据模型表；

按照业务主题对所述数据模型表中的数据进行汇总，得到业务主题汇总表，完成数据仓库的构建，所述业务主题中包含一个或多个业务指标。

5.根据权利要求4所述的方法，其特征在于，生成数据模型表还包括：利用Hive脚本和/或数据并行处理工具MapReduce，生成数据模型表。

6.根据权利要求1所述的方法，其特征在于，所述业务主题包括：存货主题、商品主题、销量主题中的一种或几种。

7.一种基于自动构建的数据仓库处理用户浏览行为数据的系统，其特征在于，包括：

数据准备模块，包括获取单元，用于获取用户浏览行为原始数据，以及存储单元，用于保存所述用户浏览行为原始数据；

数据抽取模块，用于将所述用户浏览行为原始数据抽取到数据存储服务器中，得到用户浏览行为原始数据表；

数据仓库自动构建模块，用于根据所述用户浏览行为原始数据表自动构建数据仓库，从而生成基于各业务主题的业务主题汇总表；

应用模块，用于根据数据服务需求，将所述业务主题汇总表构建成应用表，

其中，所述数据仓库自动构建模块还用于：

根据业务需求构建数据模型表结构；

将所述用户浏览行为原始数据表加载数据模型表结构中，生成数据模型表；

按照业务主题汇总所述数据模型表，生成业务主题汇总表，从而完成数据仓库的自动构建。

8.根据权利要求7所述的系统，其特征在于，所述数据准备模块还用于：在所述获取单元获取用户浏览行为原始数据之后，对所述用户浏览行为原始数据进行清洗，剔除干扰数据，所述干扰数据包括爬虫浏览记录、未登录用户浏览记录以及页面默认浏览记录中的一种或几种。