[发明专利]一种家庭宽带WiFi下手机号码特征自动提取方法

说明书

本发明公开了一种家庭宽带WiFi下手机号码特征自动提取方法，采用DPI(深度包检测)技术、Hyperscan高速字符串匹配、Hadoop分布式架构、分布式爬虫等技术，可以更加快速准确的识别出固网WiFi下用户手机号码特征。

技术领域

本发明涉及一种家庭宽带WiFi下手机号码特征自动提取方法，属于深度包解析技术领域。

背景技术

目前大多数的特征字发现是采用人工离线的方法进行：即通过人工模拟用户使用特定应用的行为，并进行抓包，通过经验和肉眼比对提取关键特征字，形成针对特定应用的特征字库。离线的人工比对获取特征字的方法工作量大、低效且模拟行为有限，且对人员的要求较高。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种家庭宽带WiFi下手机号码特征自动提取方法，解决人工比对效率低的问题。

为了实现上述目标，本发明采用如下的技术方案：

一种家庭宽带WiFi下手机号码特征自动提取方法，其特征是，包括如下步骤：

步骤1)通过深度包检测技术解析数据包，提取相关信息，判断数据包协议类型，清洗程序一次过滤丢弃非HTTP、非RADIUS协议的数据包；对剩下的HTTP数据包进行HTTP应用层报文解析，提取字段内容；

步骤2)对报文进行二次过滤，丢弃uri字段中资源类型不符合的数据包；

步骤3)利用Hyperscan技术对数据包进行高效快速匹配，发现其中的疑似手机号，并与其他相关信息形成初步分析结果记录，整理成数据清单送入大数据分析模块进行分析；

步骤4)通过事先利用Webmagic爬虫框架对终端信息库的爬取，匹配出ua信息；当匹配出非手机型号的终端，判断此11位数字并非真的手机号，此手机号码特征关键字是无效的；

步骤5)利用Webmagic爬虫框架事先爬取host主机名与app名称的对应关系，匹配出手机号码关键字出自于哪种app应用，将同种应用产生出的许多不同host主机名的情况归为同一种应用，将来自未知应用的噪声数据记录剔除出去；

步骤6)计算手机号码在同一宽带账号下出现在不同app应用的次数，利用hadoop中的hive数据库分布式计算二元组数据出现的不同app应用的个数；

通过设置应用阈值和时间阈值，所述应用阈值为出现次数阈值，时间阈值为app应用启动时间阈值，当应用阈值和时间阈值均不满足时，继续累积数据，否则归类进手机号码特征关键字库中；

步骤7)采用黑名单的方式进行过滤，过滤黑名单关键字后再检查关键字，验证是否属于手机号码特征黑名单中，如否，则进入下一步，否则再次过滤黑名单关键字；

步骤8)输出最终结果，形成手机号码特征结果表，包括手机号码特征关键字和手机号码特征对应app名称。

前述的一种家庭宽带WiFi下手机号码特征自动提取方法，其特征是，所述步骤1)中的字段内容包括uri、host、ua、referer、cookie和content。

前述的一种家庭宽带WiFi下手机号码特征自动提取方法，其特征是，所述步骤2)中资源类型不符合的数据包为不携带用户相关身份信息的数据包。

前述的一种家庭宽带WiFi下手机号码特征自动提取方法，其特征是，所述步骤3)中结果记录的信息包含时间戳、固网宽带账号、疑似手机号、关键字、uri、host、ua、referer、cookie和content。

前述的一种家庭宽带WiFi下手机号码特征自动提取方法，其特征是，所述步骤6)中数据库的数据累积的方法为：将宽带账号、手机号码、手机号码特征关键字、app名称这一四元组数据作为唯一标识，累积每天的数据，计算四元组数据出现的天数；