[发明专利]一种大数据下用户上网特征识别的方法

权利要求书

1.一种大数据下用户上网特征识别的方法，其特征在于，包括以下步骤：

步骤S1、无线管理系统平台收集用户登录信息，其中包括用户上线时间即用户登录WSMP时间，用户下线时间即用户登出WSMP时间，AP即无线接入设备侧的MAC即用户登录的APMAC地址，用户MAC即用户移动设备的MAC地址，用户手机号即用户移动设备的手机号，注册时间即用户首次登录WSMP时间；

步骤S2、无线管理系统平台收集门店信息，包括门店名称、门店地理位置和门店的编码信息，上述门店指的是WLAN运营商部署在全国各地的门店；

步骤S3、无线管理系统平台收集用户点击事件，包括Portal展现时间即单用户展现Portal的点击时间和广告时间即单用户点击广告的时间，Portal指的是登录页面；

步骤S4、上网日志系统收集上网访问信息，包括用户访问URL时间、用户访问URL地址、用户MAC地址、AP的MAC地址、在线时长duration即用户在线上网时长和在线流量traffic即用户在线上网流量；

步骤S5、上述数据收集完成后，为数据模型的构建对数据进行模型定义，分为：分项集合，分项集合用于约束一组相类似的分项；分项，分项用于标识用户特征项标题，包括口味、兴趣和年龄，分项选择必须是闭合的，即有限的标签描述一个完整的分项项，所有的子分类将构成了类空间的全部集合；标签，表征了内容，用户对该内容有兴趣、偏好、需求；标签权重，标签权重表明了用户对该标签的认可程度，表征了指数，用户的兴趣、偏好指数，或表征用户的需求度，即可信度或概率，用户在某分项对多个标签有兴趣，根据权重的不同，权重高的标签更切合用户实际情况，标签权重＝衰减因子×行为权重×网址子权重；

步骤S6、对用户数据的模型定义分为：用户群，在集中精准营销中，不仅仅要关注单用户的喜好，更要通过用户群分组对已有的客户按维度进行分组，用户群标识具有相同标签的用户，根据用户的分群，针对群体产生相应的营销策略；用户，表征了单一的用户实例，和真实用户关联；用户标签指标值，在制定的周期内，根据标签权重和用户的各种行为所占分值对用户进行标签化数学计算；

步骤S7、根据定义模型，以及采集到的上述数据源数据，通过用户身份信息把数据源数据和用户关联起来，用户身份信息包括MAC地址或手机号，进行打分，基于URL分析用户最近喜好，通过数据源中的用户访问网页的URL数据和预先从网络上爬取网站分类数据进行匹配，网站分类数据形成资源库，并且和标签关联，从而得到用户访问的网站类型标签，同时根据用户访问的次数*标签权重*平滑因子得到一个1-10以内的值，作为用户对此类标签的喜好值，值越高，则喜好越强；

步骤S8、基于商业门店分析用户喜好，通过数据源中的门店信息以及用户访问门店信息和预先在网络上爬取商业门店分类进行匹配，从而得到用户访问的门店类型标签，同时根据用户访问的次数*标签权重*平滑因子得到一个1-10以内的值，作为用户对此类标签的喜好值，值越高，则喜好越强；

步骤S9、基于地理位置分析用户经常去的城市、商圈，通过数据源中的门店信息以及用户访问门店信息和预先在网络上爬取商业门店分类进行匹配，从而得到用户访问的门店所在城市以及城市内商圈标签，同时根据用户访问的次数*标签权重*平滑因子得到一个1-10以内的值，作为用户对此类标签的喜好值，值越高，则喜好越强；

步骤S10、数据源表导入，将上述统计完成的关系型数据库中的数据源表使用Sqoop工具定时增量导入到分布式文件系统HDFS上，数据源表包括基于URL、商业门店和地理位置分析统计，使用编写的MapReduce程序，给对应的数据源表添加相应的维度列，维度列包括时间维度、门店维度，然后再将生成的HDFS文件导入到非关系型的Hive表中；

步骤S11、将Hive表加载到Apache Kylin中，根据元数据的定义，构建引擎从Hive表中抽取数据，并构建Cube，构建后的Cube保存在Hbase存储引擎中；

步骤S12、为了实现数据统计分析的每日自动更新，使用Oozie工作流引擎服务器，每天自动定时执行以上的数据采集和统计分析及数据导入步骤，最后实现Kylin Cube的定时增量构建。