[发明专利]一种基于大数据分析的撞库预警方法

摘要

一种基于大数据分析的撞库预警方法涉及信息技术领域，实现本发明的一种基于大数据分析的撞库预警方法所必需的模块包括：DPI物理探针设备、流量过滤器、Carbon Data大数据集群、特征匹配分析器；其中流量过滤器由POST参数表过滤器和响应参数过滤器组成；特征匹配分析器由特定IP大量访问探测器、访问行为探测器、时间特征探测器、目标特征探测器、代理IP探测器、用户行为探测器组成；通过可利用的撞库特征进行组合，被特定IP大量访问登录URL、访问URL行为特征、时间特征、目标特征、使用代理IP访问的情况特征，用户行为特征六大特征，每天检测出访问异常疑似撞库的行为，通过管局平台可推送至各接入企业，再通过接入企业可发送提醒至相关网站负责人，或直接对危险网站暂时停止接入避免用户财产遭受损失。

主权项

1.一种基于大数据分析的撞库预警方法，其特征在于实施步骤中的必要模块包括：DPI物理探针设备、流量过滤器、Carbon Data大数据集群、特征匹配分析器；其中流量过滤器由POST参数表过滤器和响应参数过滤器组成；特征匹配分析器由特定IP大量访问探测器、访问行为探测器、时间特征探测器、目标特征探测器、代理IP探测器、用户行为探测器组成；实现一种基于大数据分析的撞库预警方法的步骤包括：1）部署DPI物理探针设备在移动、联通、电信三大运营商的机房部署DPI物理探针设备，此网络旁路设备可实时获取移动网络或固网的访问流量，而不影响用户的正常请求，然后将流量统一上报至管局服务器机房的流量过滤器；2）流量过滤①流量过滤器将符合POST参数表过滤器流量通过规则和符合响应参数过滤器的数据传递给Carbon Data大数据集群；②POST参数表过滤器流量通过规则为在不区分大小写的情况下允许POST请求中 URL地址包含特定字符串一且POST参数名称包含特定字符串二的流量通过；特定字符串一包含：reg、register、login、sign_in、auth、user、signIn；特定字符串二包括：account、 userId、user_id、username、user_name、un；③响应参数过滤器流量通过规则为在不区分大小写的情况下允许POST请求中 URL地址包含特定字符串一且Response Headers头部包含 Set‑Cookie 参数的流量通过；特定字符串一包含：reg、register、login、sign_in、auth、user、signIn； 3）特征匹配分析①特征匹配分析器对Carbon Data大数据集群C中的数据进行特征匹配分析，特征匹配分析器具有六种分析模块，分别是特定IP大量访问探测器、访问行为探测器、时间特征探测器、目标特征探测器、代理IP探测器、用户行为探测器；同时满足两种及两种以上分析模块确定特征的流量认定为疑似撞库流量，将疑似撞库流量存储在管局信息安全管理系统的数据库中；②特定IP大量访问探测器探测特定IP在时间窗口10min内访问量突增10倍以上的情况；符合确定为特征流量；③访问行为探测器探测下列两种行为：a. 特定IP使用多个用户名密码组合进行访问，b. 特定IP多次尝试注册URL；符合确定为特征流量；④ 时间特征探测器探测下列两种行为：a.发生时间一般与正常访问时间不一样，b.非正常访问时间段内访问量突增；正常访问时间根据网站类别不同设置有所差别，一般网站正常访问时间是8点到22点，直播平台正常访问时间是18点到23点；符合确定为特征流量；⑤目标特征探测器探测流量是否属于重点网站的流量，重点网站分类包含：金融，论坛，游戏类型网站；属于重点网站的流量确定为特征流量；⑥代理IP探测器探测流量是否来自于代理服务器的访问，识别流量来自于代理服务器访问的依据包括：a.通过网络中公开的恶意IP库识别，b.目标网站的访问频率突增，c.目标网站登录失败频率突增，d.目标网站用户的IP地域发生变化，e.目标网站的访问时间特征发生变化；来自于代理服务器的访问确定为特征流量；⑦用户行为探测器探测特殊用户行为的流量，特殊用户行为的识别依据包括：a.被大量IDC、CDN、IRCS的IP访问的行为，b.缺少用户行为，包括直接访问登录接口而不访问登录页面，c.用户在不正常的时间登录，d.成功登陆后缺少后续行为，e.头文件与正常访问不一样，包括UA，Refer，cookie不正常；特殊用户行为的流量确定为特征流量。