[发明专利]基于超链分析的页面语义信息提取方法及系统

权利要求书

1.基于超链分析的页面语义信息提取方法，包括如下步骤：

步骤一，从某一网站的首页开始，逐层抓取当前层下面的所有超链信息；

步骤二，对步骤一的抓取结果进行统计学习匹配，对每层获取的超链信息中的锚文本和超链接分别进行切分，计算锚文本与超链接的切分结果之间的相似度，根据相似度获得锚文本与超链接的切分结果的匹配度；具体包括：

步骤2.1,对每一个锚文本进行中文切词，记作W数组，其中的子项记为w；

步骤2.2，将每一行的超链接按照一定的分隔符切分，记作U数组，其中的子项记为u；

步骤2.3，将抓取下来的所有数据的行数记作N，对W中每一项和U中每一项，都表示成一个N维的向量，并进行赋值；赋值方法如下：

如果W中的w在第m行出现，则w向量第m位为1，向量其余位都为0；

步骤2.4，计算每一行数据中，U中每一个u到对应的W中每一个w的余弦距离，获得相似度；

两个n维样本点w(x11,x12,…,x1n)和u(x21,x22,…,x2n)的夹角余弦为：

步骤2.5，对每一个u，如果它在N行中的M行出现，则需对它对应的每一个w的值进行加权处理；

其中，count(w,u)是w，u共同出现的次数。

2.如权利要求1所述的基于超链分析的页面语义信息提取方法，其特征在于，步骤一进一步包括：

步骤1.1，从该网站的首页开始，抓取首页下面的所有超链；

步骤1.2，对首页或者上一层抓取下来的每一个超链接，抓取该超链接下面所有的超链，对每一个超链，记录超链的前链信息和它本身的信息；

步骤1.3，持续步骤1.2抓取到某一层次，以获得大量的锚文本和超链接的对应关系信息。

3.一种基于超链分析的页面语义信息提取系统，包括：

超链信息抓取模块，用于从网站首页开始，逐层抓取当前层下的所有超链信息；

统计学习匹配模块，用于对该超链信息抓取模块抓取的超链信息进行统计学习匹配，对该超链信息抓取模块从每层网页获取的超链信息中的锚文本和超链接分别进行切分，计算锚文本与超链接的切分结果之间的相似度，根据相似度获得锚文本与超链接的切分结果的匹配度；

该统计学习匹配模块具体包括：

锚文本切分模块，用于对每一个锚文本进行中文切词，记作W数组，其中的子项记为w；

超链接切分模块，用于将每一行的超链接按照一定的分隔符切分，记作U数组，其中的子项记为u；

向量构成模块，将抓取下来的所有数据的行数记作N，对W中每一项和U中每一项，都表示成一个N维的向量；

相似度计算模块，用于计算每一行数据中，U中每一个u到对应的W中每一个w的相似度，根据相似度获得锚文本与超链接的切分结果的匹配度。

4.如权利要求3所述的基于超链分析的页面语义信息提取系统，其特征在于，该超链信息抓取模块包括：

首页抓取模块，用于抓取网站首页下面的所有超链；

超链接抓取模块，对首页或者上一层抓取下来的每一个超链接，抓取该超链接下面所有的超链，对每一个超链，记录超链的前链信息和它本身的信息。