[发明专利]一种冗余页面的发现方法

摘要

本发明涉及网页搜索引擎技术领域以及网页漏洞检测领域，旨在提供一种冗余页面的发现方法。该种冗余页面的发现方法包括：探测页面收集阶段、探测页面处理阶段、目标页面处理阶段、目标页面识别阶段。本发明通过同类型页面的相似度比较，为了避免服务器对不同类型页面做不同处理导致判断出错，先通过发送该类型确定不存在的页面获取服务器对该类型冗余页面处理结果，基于此信息来判断目标页面是否为冗余页面，弥补了业内对该种页面无法识别的痛点，通过类型判断可以更为精准的来判断是否是冗余页面，避免了服务器对不同类型不同处理导致的判断失败。

主权项

一种冗余页面的发现方法，用于判断网站的目标页面是否为冗余页面，其特征在于，所述冗余页面的发现方法包括探测页面收集阶段、探测页面处理阶段、目标页面处理阶段、目标页面识别阶段；所述探测页面收集阶段，用于收集网站冗余页面：通过对站点发送不同页面类型的确定不存在的页面，收集网站对不同类型不存在页面的处理回应，以及对该不存在页面返回的HTTP返回码；所述探测页面处理阶段，用于对探测页面收集阶段返回的结果做处理：将探测页面收集阶段收集的网站冗余页面进行降维处理，求得特征值，并记录下HTTP返回码；所述目标页面处理阶段，对目标页面做特征提取处理，求得特征值，将目标页面的HTTP返回码与目标页面计算所得的特征值保存下来；所述目标页面识别阶段，用于将目标页面与和其页面类型相同的网站冗余页面做识别对比：先比较目标页面和该网站冗余页面的HTTP返回码是否一致，若HTTP返回码一致，则将目标页面的特征值与该网站冗余页面的特征值做相似度匹配，若相似，则判断该目标页面为冗余页面。