[发明专利]一种IP库质量评估及入库方法和系统

摘要

一种IP库质量评估及入库方法与系统，考虑到IP库数据的更新，它通过IP库质量评估，IP库选择，IP库获取，IP库数据量检测，IP库中地域名称检测，处理检测异常模块等流程为实际的IP地址数据库数据分析提供一个可靠的IP维表。

主权项

1.一种IP库质量评估及入库方法，其特征是，包括如下步骤：S1：IP库质量评估，将包含国内外且每天访问量在千万级的真实测试日志中的IP地址与待评估的IP库中的IP地址进行关联匹配，得到新的日志信息中包含IP库中的国家、省份和城市日志信息，然后从IP地址覆盖率、IP地址国家、省份和城市匹配情况对匹配出的新日志进行评估；S11：IP库覆盖率评估，从总体评估整个IP库与测试日志的匹配情况，主要计算日志中未匹配的IP地址个数与总IP地址个数的占比情况，以下称ntotal；S12：IP库国家匹配情况评估，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上国家的IP地址个数与总IP地址个数的占比情况，以下称ncountry；S13：IP库省份匹配情况评估，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上省份的IP地址个数与总IP地址个数的占比情况，以下称nprovince；S14：IP库城市匹配情况评估，主要评估对象是匹配上IP库的新日志，计算日志中未匹配上城市的IP地址个数与总IP地址个数的占比情况，以下称ncity；S2：IP库选择，依据IP库质量评估的结果，结合实际应用，选择一个合适的IP库；首先选择覆盖率高的即ntotal值相对小的IP库，在ntotal值相当的情况下，结合实际业务需要，若主要分析维度是国家，那么选择ncountry较小的IP库，若主要分析维度是省份，那么选择nprovince较小的IP库，若主要分析维度是城市，那么选择ncity较小的IP库；在选择ntotal值相对小的IP库时，在ntotal值相当的情况下选择ncountry较小的IP库；S3：IP库入库，将选择的IP库进行处理导入到本公司的数据仓库中处理，最终生成数据仓库中的IP维表；IP库入库包含IP库获取、IP库数据量检测、国家名称异常检测、省份和城市名称异常检测、处理检测异常和IP维表生成六个步骤；S31：IP库获取，配置IP库下载源地址，将IP库信息下载到本地存入TXT文本中；S32：IP库数据量检测，将下载后的IP地址文本，进行初步入库，存入临时表中，将临时表的数据量与当前数据仓库中IP地址维表的数据量进行对比，若数据量差值很大，转到S35进行异常处理，否则进行下一步S33国家名称异常检测；S32步骤针对数据更新中存在的数据下载不完整情况，不针对首次入库；S33：国家名称异常检测，该步骤首次要建立一个IP库的国家名称与实际数据仓库中的国家维表、下称dim_country中国家名称对应关系表称dim_country_combine，每次IP库通过关联国家关系对应表得到dim_country中的国家名称，若关联不上，到S35进行异常处理，否则进行下一步省份&城市名称异常检测；S34：省份&城市名称异常检测，该步骤首次要建立一个IP库的省份&城市名称与实际数据仓库中的国家维表、下称dim_city中省份&城市名称对应关系表、下称dim_city_combine，每次IP库通过关联省份&城市名称对应关系表得到dim_city中的省份和城市名称，若关联不上，到S35进行异常处理，否则进行下一步IP维表生成；S35：处理检测异常模块，首先判断异常种类，不同的异常进行不同的处理；数据量检测异常，首先清空临时表，等待一段时间再下载，执行S32，若重复三遍此操作数据量检测仍然异常，就邮件通知运维人员，让其核实，若核实下载无误手动将临时表的数据导入到一个表、下称ods_ip中进行下一步处理；国家名称检测异常：将未匹配上的国家名称邮件给运维人员，让其找出dim_country中的对应国家名称，并手动添加到dim_country_combine表中；省份&城市名称检测异常：将未匹配上的省份&城市名称邮件给运维人员，让其找出dim_city中的对应省份&城市名称，并手动添加到省份&城市名称对应关系表中；异常处理好后执行S3；S36：IP维表生成模块，将初步入库的表ods_ip关联dim_country_combine表得到dim_country表中的国家名称，关联dim_city_combine表得到dim_city表中的省份&城市名称，从而生成国家、省份和城市统一化的ip维表；S4：IP库数据更新检查，每天定时下载IP库，比对之前下载的数据，如若不同，表示数据有更新，重复S3。