[发明专利]基于区块链和SDN边缘计算网络系统的域名爬取方法及装置

说明书

本申请实施例公开了一种基于区块链和SDN边缘计算网络系统的域名爬取方法、装置、电子设备及存储介质。本申请实施例提供的技术方案通过爬取设定时间段内用户的网站访问记录，筛选出访问频次达到设定阈值的网址信息，使用多个共识节点并通过共识算法对每个网址信息进行网站验证，根据每个共识节点的验证结果确定网址信息中的恶意网址并筛除，将筛除恶意网址后的网址信息对应时间信息分布式存储于区块链网络中。采用上述技术手段，通过区块链的容错机制和共识机制，以保障网址信息爬取存储的安全性，避免网址信息篡改或恶意网址影响用户体验的情况。

技术领域

本申请实施例涉及互联网技术领域，尤其涉及一种基于区块链和SDN边缘计算网络系统的域名爬取方法及装置。

背景技术

SD-WAN，即软件定义广域网，是将SDN技术应用到广域网场景中所形成的一种服务，这种服务用于连接广阔地理范围的企业网络、数据中心、互联网应用及云服务。在SD-WAN网络中，为了保障网络的稳定性，提升用户的网络访问体验，提高线路的网络利用率。需要对用户访问的线路进行自动优化调度，以实现对SD-WAN网络资源的智能调度。通过收集用户常访问的网址信息，并根据这些网址信息进行网站页面测试数据收集，并通过对测试数据进行分析预测，以此来实现网络资源的智能调度。

但是，在进行网址信息爬取收集时，会将网址信息进行统一存储，网址信息繁杂且容易被篡改。并且收集到的网址信息还包含一些恶意网址信息，容易影响数据分析和预测结果，并影响用户的网络访问体验。

发明内容

本申请实施例提供一种基于区块链和SDN边缘计算网络系统的域名爬取方法、装置、电子设备及存储介质，能够较好地进行网址信息爬取，保障网址信息的安全性。

在第一方面，本申请实施例提供了一种基于区块链和SDN边缘计算网络系统的域名爬取方法，包括：

爬取设定时间段内用户的网站访问记录，筛选出访问频次达到设定阈值的网址信息，所述网址信息包含一级域名、二级域名和对应的IP地址信息；

使用多个共识节点并通过共识算法对每个所述网址信息进行网站验证，根据每个所述共识节点的验证结果确定所述网址信息中的恶意网址并筛除；

将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中。

进一步的，所述使用多个共识节点并通过共识算法对每个所述网址信息进行网站验证，根据每个所述共识节点的验证结果确定所述网址信息中的恶意网址并筛除，包括：

各个共识节点根据自身预设的验证规则对所述网址信息进行网站验证；

收集各个所述共识节点的验证结果，若对应的所述网址信息验证为恶意网址的验证结果达到设定比例，判定对应的所述网址信息为恶意网址。

进一步的，所述各个共识节点根据自身预设的验证规则对所述网址信息进行网站验证，包括：

将所述网址信息输入预设的可信网站查询系统，返回相应的查询结果，以所述查询结果作为对应的所述共识节点的验证结果。

进一步的，所述将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中，还包括：

使用网站测试子系统的公钥加密所述网址信息并存储，所述网站测试子系统用于使用自身私钥进行所述网址信息的解密并根据所述网址信息进行网站测试。

进一步的，所述将筛除恶意网址后的所述网址信息对应时间信息分布式存储于区块链网络中，还包括：

对各个所述网址信息添加对应的类别标签，将所述类别标签与所述网址信息绑定存储。

进一步的，对各个所述网址信息添加对应的类别标签，包括：