[发明专利]一种互联网端口的整理方法及装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种互联网端口的整理方法及装置。

背景技术

在基于互联网的服务端口使用不统一不规范，常常面临着程序员使用非常规的80端口作为http的服务端口，如:8080.8090等端口，以及为了提高访问用户登陆网站用户数据的安全性，使用了http s的ssl数据加密传输，相当部分的网站会选择在同一个域名底下使用http和http s两种协议等，基于这样两种互联网技术中的cache缓存技术，通常使用爬虫程序，对互联网页面进行爬取，然后将页面内的目标取出，通过判断协议和域名后面的端口来将非http 80端口服务的域名挑出来。

然而，上述的通过爬虫程序对非http 80端口服务的域名挑出来的技术，当页面不是通过页面牵引，而是直接通过浏览器输入进行访问的，以及页面的可访问内容不在根域名底下时，是无法通过爬虫程序将所需的非http 80端口的域名给取出的，从而导致cache缓存错误的技术问题。

因此，为了完善爬虫程序基于某些场景下无法取出所需的非http80端口的域名的技术缺陷，本领域技术人员巫待解决前述的技术问题。

发明内容

本发明实施例提供了一种互联网端口的整理方法及装置，用于完善现有的爬虫程序在某些场景下无法取出所需的非http80端口的域名的技术缺陷。

本发明实施例提供的一种互联网端口的整理方法，包括:

获取域名及与所述域名相对应的ip地址；

建立与所述域名相对应的中转ip地址；

通过重定向方式将所述域名分组解析至所述中转ip地址；

依次分析每组所述域名的端口，并提取非http80端口相对应的所述域名。

可选地，

获取域名及与所述域名相对应的ip地址之前还包括:

提取cache缓存中的所有的所述域名。

可选地，

建立与所述域名相对应的中转ip地址具体包括:

建立多组中转ip地址；

将所述域名分组对应所述中转ip地址。

可选地，

通过重定向方式将所述域名分组解析至所述中转ip地址具体包括:

对所述域名通过nat平台分别进行nat映射；

通过重定向方式将所述域名分组解析至所述中转ip地址。

可选地，

依次分析每组所述域名的端口，并提取非http80端口相对应的所述域名具体包括:

通过日志分析每组所述域名；

通过所述域名和与之对应的所述中转ip地址获取相对应的所述端口，并写入数据库；

提取非http 80端口相对应的所述域名。

本发明实施例中提供的一种互联网端口的整理装置，包括:

获取单元，用于获取域名及与所述域名相对应的ip地址；

建立单元，用于建立与所述域名相对应的中转ip地址；

解析单元，用于通过重定向方式将所述域名分组解析至所述中转ip地址；

提取单元，用于依次分析每组所述域名的端口，并提取非http 80端口相对应的所述域名。

可选地，

所述的互联网端口的整理装置还包括:

提取单元，用于提取cache缓存中的所有的所述域名。

可选地，

建立单元具体包括:

建立子单元，用于建立多组中转ip地址；

分组子单元，用于将所述域名分组对应所述中转ip地址。

可选地，

解析单元具体包括:

映射子单元，用于对所述域名通过nat平台分别进行nat映射；

解析子单元，用于通过重定向方式将所述域名分组解析至所述中转ip地址。

可选地，

提取单元具体包括:

分析子单元，用于通过日志分析每组所述域名；

获取写入子单元，用于通过所述域名和与之对应的所述中转ip地址的相对应的所述端口，并写入数据库；

提取子单元，用于提取非http80端口相对应的所述域名。

从以上技术方案可以看出，本发明实施例具有以下优点: