[发明专利]用于识别网站的方法、装置及服务器

权利要求书

1.一种用于识别网站的方法，其特征在于，所述方法包括：

获取待识别网站的网页集合；

基于网页中的图文信息，识别所述网页集合中的异常网页，其中，所述异常网页中的图片信息与文本信息的相关度小于相关度阈值；

确定识别出的异常网页在所述网页集合中的比率；

根据所确定的比率，确定所述待识别网站是否为垃圾网站。

2.根据权利要求1所述的方法，其特征在于，所述基于网页中的图文信息，识别所述网页集合中的异常网页，包括：

确定待聚簇网页集合，并利用聚簇算法对所述待聚簇网页集合中的网页中的图片进行聚簇，得到图片簇，其中，所述待聚簇网页集合包括所述网页集合中的网页和除所述待识别网站之外的其它预设网站的网页；

确定所述图片簇中的图片所属的网页；

基于对应文本集合中的异常对应文本，识别所述异常网页，其中，所述对应文本集合包括所述图片簇中的图片所属的网页对应的文本，所述异常对应文本与所述对应文本集合中的除所述异常对应文本之外的其它对应文本的语义相似度小于第一语义相似度阈值。

3.根据权利要求2所述的方法，其特征在于，所述基于对应文本集合中的异常文本，识别所述异常网页，包括：

提取所述图片簇中的各个图片所属的网页中的文本，生成文本集合；

识别所述文本集合中的异常文本，其中，所述异常文本与所述文本集合中的除所述异常文本之外的其它文本的语义相似度小于第二语义相似度阈值；

响应于识别出的异常文本提取自所述网页集合中的网页，将所述异常文本所属的网页识别为所述异常网页。

4.根据权利要求3所述的方法，其特征在于，所述识别所述文本集合中的异常文本，包括：

基于所述文本集合中各个文本之间的语义相似度，对所述各个文本对应的文本特征向量进行聚类运算，得到聚类中心；

确定与所述聚类中心的距离大于预设距离阈值的文本特征向量；

将所确定的文本特征向量对应的文本识别为异常文本。

5.根据权利要求2所述的方法，其特征在于，所述基于对应文本集合中的异常文本，识别所述异常网页，包括：

对于所确定的每个网页，解析该网页并提取该网页各个文本域中的子文本；

根据文本域对提取的子文本进行划分，生成多个与文本域相关联的子文本集合；

对于多个子文本集合中的每个子文本集合，识别该子文本集合中的异常子文本，其中，所述异常子文本与该子文本集合中的除所述异常子文本之外的其它子文本的语义相似度小于第三语义相似度阈值。

6.根据权利要求5所述的方法，其特征在于，所述基于对应文本集合中的异常文本，识别所述异常网页，还包括：

对于所述网页集合中每个网页，确定该网页中的异常子文本数量与该网页的文本域总数量的比值，并响应于所述比值大于异常文本域阈值，识别该网页为异常网页。

7.根据权利要求2所述的方法，其特征在于，所述基于对应文本集合中的异常文本，识别所述异常网页，包括：

对于所确定的每个网页，获取该网页作为搜索结果呈现时的搜索式，解析所获取的搜索式并提取关键词生成搜索文本；

对于包括各个图片所属的网页的搜索文本的搜索文本集合，识别搜索文本集合中的异常搜索文本，其中，所述异常搜索文本与所述搜索文本集合中除所述异常搜索文本之外的其它搜索文本的语义相似度小于第四语义相似度阈值；

响应于识别出的异常搜索文本对应的网页为所述网页集合中的网页，确定识别出的异常搜索文本对应的网页为所述异常网页。