[发明专利]识别站点同源关系的方法、装置、设备和计算机存储介质

说明书

本发明提供一种识别站点同源关系的方法、装置、设备和计算机存储介质，识别站点同源关系的方法包括：抓取页面并进行解析，获取页面信息；统计所获取的页面信息，得到对应各页面站点的熵值与各图片站点的熵值、各页面站点与各图片站点之间的互信息、各页面站点与各图片站点的时间差值期望以及各页面站点与各图片站点的字面名称中的至少一个；根据所述各页面站点的熵值与各图片站点的熵值、所述各页面站点与各图片站点之间的互信息、所述各页面站点与各图片站点的时间差值期望以及所述各页面站点与各图片站点的字面名称中的至少一个，识别具有同源关系的页面站点以及图片站点。本发明能够识别站点同源关系，并能够提高识别的准确率。

【技术领域】

本发明涉及互联网技术领域，尤其涉及一种识别站点同源关系的方法、装置、设备和计算机存储介质。

【背景技术】

信息检索(Information Retrieval)是指从信息资源的集合中查找所需文献或查找所需文献中包含的信息内容的过程。图片搜索引擎(Image Search Engine)就是用于查找互联网图片信息的信息检索工具。搜索引擎让人们从海量资源中获取信息变得便捷。随着社会发展和技术进步，网络上的图片资源尤其是高清图片越来越丰富，大部分页面都包含一张或多张图片。在其他条件相同的情况下，图片和页面来自同一站点，用户体验较好，也减少了引用外部站点图片出现死链的风险。

识别站点同源关系时，最基本的方法是字符串匹配，即对页面和图片的来源站点的名称进行字符串比较。这种方法只能解决站点名称字面相同的站点同源关系。针对站点名称字面不同的情况，还可以人工收集并维护站点同源关系列表，该关系列表单纯根据字面匹配，对站点名称字面不同的站点同源关系无法召回。当前网络发展日新月异，通过人工收集整理的方法，费时费力，且不能保证召回。因此，识别页面站点与图片站点之间是否具有同源关系具有很重要的现实意义。

【发明内容】

有鉴于此，本发明提供了一种识别站点同源关系的方法、装置、设备和计算机存储介质，用于识别具体同源关系的页面站点以及图片站点，并提高了站点同源关系识别的准确率。

本发明为解决技术问题而采用的技术方案是提供一种识别站点同源关系的方法，所述方法包括：抓取页面并进行解析，获取页面信息；统计所获取的页面信息，得到对应各页面站点的熵值与各图片站点的熵值、各页面站点与各图片站点之间的互信息、各页面站点与各图片站点的时间差值期望以及各页面站点的字面名称与各图片站点的字面名称中的至少一个；根据所述各页面站点的熵值与各图片站点的熵值、所述各页面站点与各图片站点之间的互信息、所述各页面站点与各图片站点的时间差值期望以及所述各页面站点的字面名称与各图片站点的字面名称中的至少一个，识别具有同源关系的页面站点以及图片站点

根据本发明一优选实施例，所述页面信息包括以下至少一种：各页面的页面站点与各页面中各图片的图片站点，各页面的页面时间与各页面中各图片的图片时间，各页面站点的字面名称与各图片站点的字面名称。

根据本发明一优选实施例，所述对所获取的页面信息进行统计，得到对应各页面站点的熵值以及各图片站点的熵值包括：根据所述页面信息中各页面的页面站点，对各页面站点进行聚簇；根据所述各页面中图片的图片站点，对各图片站点进行聚簇；根据所述各页面站点的聚簇结果，计算得到对应各页面站点的熵值；根据所述各图片站点的聚簇结果，计算得到对应各图片站点的熵值。

根据本发明一优选实施例，所述根据所述页面信息中各页面的页面站点以及各页面中图片的图片站点，对各页面站点以及各图片站点进行聚簇包括：根据页面站点对图片站点进行聚簇，得到各页面站点所对应的所有页面中各图片的图片站点集合；根据图片站点对页面站点进行聚簇，得到引用各图片站点的所有页面的页面站点集合；利用所述图片站点集合计算各页面站点的熵值；利用所述页面站点集合计算各图片站点的熵值。