[发明专利]一种针对电商用户海量行为数据的获取和存储方法

说明书

技术领域

本发明涉及数据采集领域，具体地说是一种针对电商用户海量行为数据的获取和存储方法。

背景技术

对于电商行业来说，数据的重要性毋庸置疑，围绕着大数据收集、存储、挖掘和分析已经成为未来电商企业的制胜关键和利润焦点。然而，用户行为采集是一个比较消耗资源的操作，尤其是访问用户增多时，实时分析记录对系统造成极大的压力，极大的影响用户体验。

如何使业务的运行建立在细分市场、客户群，将最合适的业务和产品在最合适的时机以最恰当的推销方式销售给最需要的客户，实现业务和客户的最佳匹配，成为电商企业的重要目标。

发明内容

本发明的技术任务是针对上述现有技术的不足，提供一种针对电商用户海量行为数据的获取和存储方法。该方法将传统的单服务器处理方式改成服务器集群的处理方式，能够最大限度的使用计算机资源，有效的进行水平扩展。数据转换的基本组成是步骤，而通过服务器集群技术的应用，把转换中的每一个步骤都能放在单独的服务器里面并行的执行，将极大提高数据处理的效率。

本发明的技术任务是按以下方式实现的：一种针对电商用户海量行为数据的获取和存储方法，包括如下步骤：

步骤一：使用监听器跟踪用户请求；

步骤二：分析用户每次请求，筛选有效信息放到消息队列中；

步骤三：判断消息队列缓冲区大小，批量持久化数据。

作为优选，步骤二所述有效信息包括访客基本信息、访客会话信息、访客请求信息。

所述访客基本信息包括访客的IP，操作系统，浏览器，屏幕分辨率，及来源地（此来源地就是广告商或搜索引擎链接过来的地址），访客创建时间。

进一步的，根据基础数据可得到以下信息：

1．访客的IP：可以统计出IP对应的实际区域，也就是说可以找出地理区域访客量；

2. 访客基本信息的来源地：可以得到，访客是从哪个网站点击到我们网站上的，还可以得到访客是搜索引擎点击到我们网站上，并可以得到，搜索的关键词；

3. 会话的来源地：此次会话是从哪些网站链接过来的，如果为空，表示此次用户进入网站没有经过任何广告或搜索引擎；

4．会话来源地+访客来源地：此组合比较可以得出访客最早是从哪一个广告商或搜索引擎链接过来的，并可以得到各来源地的回头客数量；

5．访客会话信息的帐户ID + 来源地：可以查看各来源地的访客注册率，及订单生成率；

6．访客请求URL：可以统计出各页面、栏目、商品、信息的访问率；网站搜索的关键词，网站收藏夹的使用率；

7．访客鼠标点击：可以统计出访客在某些页面的访问习惯；

8. 访客请求URL+请求时间+会话开始时间：可以统计出入口页面，出口页面。

所述访客会话信息包括会话开始的时间，此次会话的来源地，此次会话访客登录的帐户ID。

所述访客的请求信息包括请求的URL地址，请求的时间，此次请求客户端打开页面的时间。

作为优选，步骤三的具体方法为：设置消息队列缓冲区指定大小，判断消息队列缓冲区大小是否超过阀值，超过则批量化则将用户行为数据持久化。

本发明提供了一种针对电商用户海量行为数据的获取和存储方法，与现有技术相比，该方法具有以下突出的有益效果：

一、能够较为完整的得到了详尽的用户行为数据；

二、由于使用异步持久化，能够在不影响用户体验的前提下，采集电商企业需要的用户行为数据。

附图说明

附图1是本发明针对电商用户海量行为数据的获取和存储方法的流程图。

具体实施方式

参照说明书附图以具体实施例对本发明的针对电商用户海量行为数据的获取和存储方法作以下详细地说明。

实施例：

如附图1所示，本发明的针对电商用户海量行为数据的获取和存储方法包括如下步骤：

步骤一：用户访问网站发起请求

步骤二：监听器接收到用户请求

步骤三：分析用户每次请求，筛选有效信息放到消息队列中

所述有效信息包括访客基本信息、访客会话信息、访客请求信息。

其中，访客基本信息包括访客的IP，操作系统，浏览器，屏幕分辨率，及来源地（此来源地就是广告商或搜索引擎链接过来的地址），访客创建时间。

根据上述基础数据可得到以下信息：

1．访客的IP：可以统计出IP对应的实际区域，也就是说可以找出地理区域访客量；