[发明专利]一种高覆盖度且准确的域名IP对应关系获取方法及装置

说明书

本发明提供一种高覆盖度且准确的域名IP对应关系获取方法及装置，属于数据处理领域。所述方法包括：从各数据源中获取第一域名集合，通过域名系统探针设备获取第二域名集合和第一域名IP对应关系集合，通过采集设备获取第三域名集合和第二域名IP对应关系集合；融合第一域名集合、第二域名集合和第三域名集合得到域名总集，获取域名总集中各域名的IP对应关系得到第三域名IP对应关系集合；融合第一域名IP对应关系集合、第二域名IP对应关系集合和第三域名IP对应关系集合得到域名IP对应关系总集；对域名IP对应关系总集中各域名IP对应关系进行存活判断得到存活域名IP对应关系总集并保存。本发明中，获取到的域名IP对应关系准确且全面。

技术领域

本发明涉及数据处理领域，尤其涉及一种高覆盖度且准确的域名IP对应关系获取方法及装置。

背景技术

目前，通过统合多个数据源以及使用多种降噪技术，能够获得全面准确的域名和IP。在获得全面且准确的域名和IP后，研究各域名的接入IP，即域名和IP的对应关系将成为下一步的关注点。目前，获取域名和IP的对应关系的方式主要有两种，其一是使用DNS(Domain Name System，域名系统)探针获取域名和IP的对应关系，即在机房内部署DNS探针服务器，通过数据流量获取镜像数据，采集UDP(User Datagram Protocol，用户数据报协议)协议的响应包，并从数据中提取DNS六元组(CNname，源IP、目的IP、解析IP、域名，访问时间)信息，解析六元组信息获得域名IP对应关系。但是由于DNS数据量极大，导致采集的数据存在一个域名对应大量IP，一个IP对应大量域名的情况；因此该方式中，数据源的准确性得不到保障，需要经过处理才能使用。由此，DNS探针采集的域名IP对应关系存在着准确性问题。其二，使用EU (Execution Unit，执行单元)设备获取域名和IP的对应关系，即在运营商企业处部署EU采集设备，EU设备将采集通过该运营商的全部http get请求和https get请求，将请求的域名和IP的对应关系以及域名的存活状态记录；通过这部分数据可以获取域名和IP的对应关系，并对域名的存活状态进行划分；然而， EU设备采集到的数据仅为拨测过的域名和IP数据，导致其全面性得不到保障，需要其他数据源进行补充。由此，EU设备采集的域名IP对应关系存在着全面性问题。可见，现有的域名和IP对应关系的获取方式均存在弊端，不能获取到全面的、准确的域名和IP的对应关系。因此，希望有一种能够获取最准确且最全面的域名IP对应关系的方法，从而能够有效的进行行业监管。

发明内容

为克服现有技术的缺陷，本发明提供一种高效的域名IP对应关系获取方法及装置。

一方面，本发明提供一种高覆盖度且准确的域名IP对应关系获取方法，包括：

步骤S1：从各数据源中获取第一域名集合，并通过域名系统探针设备获取第二域名集合和第一域名IP对应关系集合，通过采集设备获取第三域名集合和第二域名IP对应关系集合；

步骤S2：对所述第一域名集合、所述第二域名集合和所述第三域名集合进行域名融合，得到域名总集，并获取所述域名总集中各域名的IP对应关系得到第三域名IP对应关系集合；

步骤S3：对所述第一域名IP对应关系集合、所述第二域名IP对应关系集合和所述第三域名IP对应关系集合进行域名IP对应关系融合，得到域名IP对应关系总集；

步骤S4：对所述域名IP对应关系总集中各域名IP对应关系进行存活判断得到存活域名IP对应关系总集并保存。

可选地，所述步骤S1，具体包括：

从备案数据、上报数据中获取第一域名集合；

通过域名系统探针设备获取镜像数据，在所述镜像数据中提取六元组信息，对所述六元组信息中含有的各域名进行降噪去重处理得到第二域名集合，并提取所述六元组信息中含有的各域名IP对应关系得到第一域名IP对应关系集合；