[发明专利]检查网站中链接的方法和装置

权利要求书

1.一种检查网站中链接的方法，其特征在于，包括：

获取待检查网站的第一页面及所述第一页面中的链接对象，其中，所述链接对象用于跳转至第二页面；

获取所述链接对象所包含的第一数据集与所述第二页面所包含的第二数据集；

将所述第一数据集中包含的数据元素与所述第二数据集中包含的数据元素进行比对，得到比对结果；

根据所述比对结果确定所述链接对象是否为错误链接；

其中，将所述第一数据集中包含的数据元素与所述第二数据集中包含的数据元素进行比对，得到比对结果，包括：查找所述第一数据集与所述第二数据集中相同的数据元素；统计所述相同的数据元素的数量；计算所述相同的数据元素的数量与所述第一数据集中包含的数据元素数量的比值；

其中，根据所述比对结果确定所述链接对象是否为错误链接，包括：如果所述比值大于等于预设阈值，则确定所述链接对象为正常链接；如果所述比值小于所述预设阈值，则确定所述链接对象为错误链接；

其中，获取所述链接对象所包含的第一数据集与所述第二页面所包含的第二数据集，包括：提取所述链接对象所包含的第一文本字符串和所述第二页面所包含的第二文本字符串；将所述第一文本字符串和所述第二文本字符串进行分词处理，得到第三数据集和第四数据集；根据预设算法模型，提取所述第三数据集中第一目标数据元素放入所述第一数据集，并提取所述第四数据集中的第二目标数据元素放入第二数据集；以及，所述预设算法模型至少包括以下至少之一：KNN算法、 朴素贝叶斯算法、决策树算法、神经网络法、线性最小二乘法、K-Means算法、余弦相似度算法；

其中，在提取所述链接对象所包含的第一文本字符串和所述第二页面所包含的第二文本字符串之前，所述方法还包括：基于文本密度提取算法，提取所述第二页面的页面内容，该步骤包括：获取所述第二页面的文档树；提取所述文档树中各个标签节点内的文本字符，并统计所述各个标签节点内的文本字符数；计算所述各个标签节点的文本密度，其中，所述文本密度为所述各个标签节点内的文本字符数占所述文档树的总文本字符数的比例；提取文本字符密度最大的标签节点的文本内容，作为所述第二页面的页面内容。

2.根据权利要求1所述的方法，其特征在于，获取待检查网站的第一页面及所述第一页面中的链接对象，包括：

通过爬虫的方式对所述待检查网站进行爬取，得到所述待检查网站的第一页面及所述第一页面中的链接对象。