[发明专利]一种家庭宽带WiFi下手机号码特征自动提取方法

摘要

本发明公开了一种家庭宽带WiFi下手机号码特征自动提取方法，采用DPI(深度包检测)技术、Hyperscan高速字符串匹配、Hadoop分布式架构、分布式爬虫等技术，可以更加快速准确的识别出固网WiFi下用户手机号码特征。

主权项

1.一种家庭宽带WiFi下手机号码特征自动提取方法，其特征是，包括如下步骤：步骤1)通过深度包检测技术解析数据包，提取相关信息，判断数据包协议类型，清洗程序一次过滤丢弃非HTTP、非RADIUS协议的数据包；对剩下的HTTP数据包进行HTTP应用层报文解析，提取字段内容；步骤2)对报文进行二次过滤，丢弃uri字段中资源类型不符合的数据包；步骤3)利用Hyperscan技术对数据包进行高效快速匹配，发现其中的疑似手机号，并与其他相关信息形成初步分析结果记录，整理成数据清单送入大数据分析模块进行分析；步骤4)通过事先利用Webmagic爬虫框架对终端信息库的爬取，匹配出ua信息；当匹配出非手机型号的终端，判断此11位数字并非真的手机号，此手机号码特征关键字是无效的；步骤5)利用Webmagic爬虫框架事先爬取host主机名与app名称的对应关系，匹配出手机号码关键字出自于哪种app应用，将同种应用产生出的许多不同host主机名的情况归为同一种应用，将来自未知应用的噪声数据记录剔除出去；步骤6)计算手机号码在同一宽带账号下出现在不同app应用的次数，利用hadoop中的hive数据库分布式计算二元组数据出现的不同app应用的个数；通过设置应用阈值和时间阈值，所述应用阈值为出现次数阈值，时间阈值为app应用启动时间阈值，当应用阈值和时间阈值均不满足时，继续累积数据，否则归类进手机号码特征关键字库中；步骤7)采用黑名单的方式进行过滤，过滤黑名单关键字后再检查关键字，验证是否属于手机号码特征黑名单中，如否，则进入下一步，否则再次过滤黑名单关键字；步骤8)输出最终结果，形成手机号码特征结果表，包括手机号码特征关键字和手机号码特征对应app名称。