[发明专利]基于超链分析的页面语义信息提取方法及系统

摘要

本发明公开了一种基于超链分析的页面语义信息提取方法及系统，该方法包括如下步骤：步骤一，从某一网站的首页开始，逐层抓取当前层下面的所有超链信息；步骤二，对步骤一的抓取结果进行统计学习匹配，对每层获取的超链信息中的锚文本和超链接分别进行切分，计算锚文本与超链接的切分结果之间的相似度，根据相似度获得锚文本与超链接的切分结果的匹配度，本发明通过爬虫按照一定层次爬取页面的超链，以很小的成本和时间来实现对网站层次数据信息的获取，同时通过利用网页语义信息和url模板一一对应的算法来实现对网站信息的理解，从而实现给定一个url就能知道该url所代表的页面信息和层次信息的目的。

主权项

1.基于超链分析的页面语义信息提取方法，包括如下步骤：步骤一，从某一网站的首页开始，逐层抓取当前层下面的所有超链信息；步骤二，对步骤一的抓取结果进行统计学习匹配，对每层获取的超链信息中的锚文本和超链接分别进行切分，计算锚文本与超链接的切分结果之间的相似度，根据相似度获得锚文本与超链接的切分结果的匹配度；具体包括：步骤2.1,对每一个锚文本进行中文切词，记作W数组，其中的子项记为w；步骤2.2，将每一行的超链接按照一定的分隔符切分，记作U数组，其中的子项记为u；步骤2.3，将抓取下来的所有数据的行数记作N，对W中每一项和U中每一项，都表示成一个N维的向量，并进行赋值；赋值方法如下：如果W中的w在第m行出现，则w向量第m位为1，向量其余位都为0；步骤2.4，计算每一行数据中，U中每一个u到对应的W中每一个w的余弦距离，获得相似度；两个n维样本点w(x11,x12,…,x1n)和u(x21,x22,…,x2n)的夹角余弦为：步骤2.5，对每一个u，如果它在N行中的M行出现，则需对它对应的每一个w的值进行加权处理；其中，count(w,u)是w，u共同出现的次数。