[发明专利]基于手机用户上网行为的数据处理方法及装置

说明书

技术领域

本发明涉及移动网络技术领域，尤其涉及一种基于手机用户上网行为的数据处理方法及装置。

背景技术

目前，在移动网络业务中，对用户上网数据进行分析挖掘成为一种流行趋势。随着服务供应商以及使用手机上网用户数量的不断增长，使得移动业务系统产生的话单不断增长，在话单量较多的业务系统中，业务量TPS(Tip-Per-Second)甚至已达到5000条/秒，每天的数据量约有1亿到2亿之多。

作为需要了解手机用户上网行为的运营商，通常需要对手机用户上网行为进行以下分析：

a)上网类型分析：用户访问频率较高的网站的类型；

b)指定网站流量分析：网站或者网站内具体内容的访问流量；

c)广告访问流量分析：广告网址具体分类的访问流量。

传统技术中，对手机用户上网数据进行分析所采用的方法是：对移动业务系统生成的话单中的URL(Uniform/Universal Resource Locator，统一资源定位符，也称为网页地址)字段进行分析。其中：

上网类型分析的过程包括：话单数据入库、维护一张HOST与类型的对照关系表、针对单个URL解析出HOST、从对照关系表中查询出类型以及针对所有的URL进行分析；

指定网站流量分析的过程包括：话单数据入库、维护URL转换规则对照表、针对单个URL转换以及针对所有的URL进行分析；

广告访问流量分析的过程包括：话单数据入库、维护URL和广告的对应关系表、查询单个URL属于哪种广告以及针对所有的URL进行分析。

在数据流量较大的情况下，采用上述方法对话单数据进行处理时会使系统性能出现瓶颈现象。因为话单中的URL均是加密存储，在解析URL之前必须对URL做解密处理，还需要对URL解密后的字符串做复杂的运算操作，所以数据处理时间较长，以传统解决方案对手机用户上网行为分析的测试数据如下表1所示：

  话单生成速度 每天3000W条，每5分钟10W条  10W条话单处理速度  10W条需要8分钟  一天话单的处理速度  需要约1.5天

表1

从上表1可以看出，生成话单的速度比处理话单的速度快，由此使得话单会越堆越多而无法及时处理，不仅造成数据处理的严重延时，而且增加了系统数据库处理负担。

发明内容

本发明的主要目的在于提供一种基于手机用户上网行为的数据处理方法及装置，旨在提高手机用户上网数据的处理速度，提高系统性能。

本发明提出一种基于手机用户上网行为的数据处理方法，所述方法包括：

根据用户上网数据生成包含有用户访问网页地址URL的第一话单；

按照预定规则对所述第一话单中数据进行预处理，生成第二话单；

对所述第二话单中数据进行统计分析处理。

优选地，所述按照预定规则对所述第一话单中数据进行预处理的步骤包括：

对所述第一话单中数据进行上网类型URL分析处理和/或指定网站流量分析处理和/或广告访问流量分析处理。

优选地，所述对第一话单中数据进行上网类型URL分析处理的步骤包括：

在所述第一话单中增加URL类型的字段，用于存放URL所属类别；

解析所述第一话单中的源URL；

从预设的URL类别对照关系表中查找所述源URL对应的所属类别，写入第二话单中与源URL对应的URL类型的字段。

优选地，所述对第一话单中数据进行指定网站流量分析处理的步骤包括：

在所述第一话单中增加新URL字段，用于存放转换后的新URL；

根据预定转换规则转换第一话单中的源URL；

将转换后的源URL写入第二话单中与源URL对应的新URL字段。