[发明专利]一种基于消息队列的海量用户行为数据采集方法与系统

权利要求书

1. 一种基于消息队列的海量用户行为数据采集方法，其特征在于：包括以下步骤

S1、使用植入脚本在页面中把用户行为数据收集为日志记录并把记录数据通过Http提交到服务器端后台；

S2、对日志记录直接通过日志拦截器进行预处理；

S3、对S2经过预处理的用户行为数据直接发送到消息队列中，等待处理器采集；

S4、用户行为处理器订阅S3中消息队列的数据并进行处理，用户行为处理器根据S3消息队列的数据量动态增加处理器以加快用户行为数据的采集。

2.根据权利要求1所述的一种基于消息队列的海量用户行为数据采集方法，其特征在于：所述步骤S2中预处理是指日志拦截器把数据封装成以单一页面的行为数据为单位的数据包。

3.根据权利要求2所述的一种基于消息队列的海量用户行为数据采集方法，其特征在于：所述步骤S2中，日志拦截器会把不需要处理的数据过滤，及对需要处理的数据解释成数据包。

4.根据权利要求3所述的一种基于消息队列的海量用户行为数据采集方法，其特征在于：所述数据包中的字段包括：请求用户、请求ip、请求参数、请求地址、页面的使用轨迹、跳转页面、浏览器信息、系统信息、响应时间中的一种或多种。

5.根据权利要求1所述的一种基于消息队列的海量用户行为数据采集方法，其特征在于：所述步骤S3中消息队列的入列与出列速度为毫秒级，并且消息队列在数据高峰期对数据缓冲处理。

6.根据权利要求1所述的一种基于消息队列的海量用户行为数据采集方法，其特征在于：所述步骤S4中用户行为处理器是对需要进行实时反馈的数据进行处理。

7.根据权利要求6所述的一种基于消息队列的海量用户行为数据采集方法，其特征在于：所述需要进行实时反馈的数据为pv、uv、热门资源、热门关键字、页面平均访问时间中的一种或多种。

8.根据权利要求1所述的一种基于消息队列的海量用户行为数据采集方法，其特征在于：所述步骤S4针对不同的业务需要定制不同的处理器，且处理器是可分布式并行处理的，根据消息队列的缓存的数量进行增加与减少，结果实时反馈到相应的系统进入实时反馈，并且把原始数据包批量写入存储系统。

9.一种基于消息队列的海量用户行为数据采集系统，其特征在于：包括

日志拦截模块，用于用户行为数据的过滤及预处理；

消息队列系统，用户行为数据包的中转、分发；

用户行为处理器模块，用于实时用户行为数据的处理、结果反馈及原始数据的批量存储。