[发明专利]确定网页聚类模式的方法及装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种确定网页聚类模式的方法及装置。

背景技术

在网页的数据挖掘中，为了有效地对网页的数据进行有效挖掘分析，通常采用聚类技术，将长相或者功能类似的统一资源定位符（Uniform Resource Locator；URL）即网页聚在一起，形成集合，该集合可以采用一种模式pattern来表示。

现有技术常用的一种网页聚类方法中，将URL按一定的分隔符去切分，形成pattern。例如如下URL“http://www.360.cn/weishi/index.html”，可以根据分隔符“/”切割成http://www.360.cn/和http://www.360.cn/weishi/两个前缀pattern，通常用到的分隔符可以包括“/”、“?”、“-”或者“_”等等。这种pattern可以称之为前缀pattern聚类技术。这种pattern的特点是应用比较方便，不用加载词典。

但是，上述现有的前缀pattern聚类技术中，由于前缀pattern聚类比较细，有些类似的网页无法聚到同一个pattern。假如有两个用户页http://360.cn/xxx/album/和http://360.cn/yyy/album/，其中“xxx”和“yyy”是分别是两个用户注册的身份标识（Identity；ID），那么采用前缀聚类的技术，只能各自聚类到http://360.cn/xxx/和http://360.cn/yyy/，而实际上这两个用户页是类似的页面（如都是用户的相册album），无法聚到同一个pattern，因此现有的网页聚类技术聚类效果较差，效率较低。

发明内容

本发明实施例提供一种网页聚类方法及装置，用于优化网页聚类效率，提高网页聚类效果。

一方面，本发明提供一种确定网页聚类模式的方法，包括以下步骤：

获取待聚类网页的统一资源定位符的主干前缀；

对所述主干前缀进行切分，得到多个字段；

根据保留字段词典中的至少一个预设保留字段及各所述预设保留字段的位置信息来匹配切分得到的所述多个字段，将匹配到的与所述预设保留字段相同，且位置对应的字段部分作为保留字段；

根据所述多个字段中的所述保留字段和所述保留字段的位置信息，生成作为所述待聚类网页的统一资源定位符的聚类模式。

另一方面，本发明还提供一种确定网页簇聚类模式方法，包括以下步骤：

获取待聚类网页簇中的多个网页的统一资源定位符的主干前缀；

分别对各所述主干前缀进行切分，得到多个字段；

挖掘所述多个字段中的保留字段以及所述保留字段的位置信息；

根据所述保留字段和所述保留字段的位置信息生成所述待聚类网页簇的统一资源定位符的聚类模式。

再一方面，本发明还提供一种确定网页聚类模式的装置，包括：

保留字段词典数据库，用于存储保留字段词典，所述保留字段词典中包括至少一个预设保留字段及各所述预设保留字段的位置信息；

获取模块，用于获取待聚类网页的统一资源定位符的主干前缀；

切分模块，与所述获取模块连接，用于对所述获取模块获取的所述主干前缀进行切分，得到多个字段；

确定模块，分别与所述保留字段词典数据库和所述切分模块连接，用于根据所述保留字段词典中的至少一个预设保留字段及各所述预设保留字段的位置信息来匹配所述切分模块切分得到的所述多个字段，将匹配到的与所述预设保留字段相同，且位置对应的字段部分作为保留字段；

生成模块，与所述确定模块连接，用于根据所述确定模块匹配到的所述多个字段中的所述保留字段和所述保留字段的位置信息，生成作为所述待聚类网页的统一资源定位符的聚类模式。

又一方面，本发明还提供一种确定网页聚类模式的装置，包括：

获取模块，用于获取待聚类网页簇中的多个网页的统一资源定位符的主干前缀；

切分模块，与所述获取模块连接，用于分别对各所述主干前缀进行切分，得到多个字段；

挖掘模块，与所述切分模块连接，用于挖掘所述切分模块切分得到的所述多个字段中的保留字段以及所述保留字段的位置信息；

生成模块，与所述挖掘模块连接，用于根据所述挖掘模块挖掘得到的所述保留字段和所述保留字段的位置信息生成所述待聚类网页簇的统一资源定位符的聚类模式。