[发明专利]一种基于内容相似度计算的自动搜索引擎构建方法

说明书

技术领域

应用于文本相似度计算及各种信息搜索领域。

背景技术

现有技术搜索引擎如百度、Google等，只能被动地按用户输入关键词进行搜索，不能主动为每个搜索结果中的网页自动搜索相似内容网页，其缺陷主要体现在：

1、用户在搜索引擎上输入关键词后，虽然搜索出的网页包含关键词，但内容并不相同，没有相似内容聚类显示，用户需要在众多内容不同的搜索结果中仔细观察和筛选查找感兴趣信息，不方便用户确定选择搜索结果；

2、用户在搜索结果中找到感兴趣的网页后，如要继续查找相同内容网页，还需返回众多内容不同的搜索结果中，继续进行人工观察与筛选；

3、搜索引擎不能控制搜索到不在其站内网页的显示，当用户点击搜索结果的链接后，如果该网页不是搜索引擎站内的网页，浏览器的显示控制权将交给链接网页，因此，搜索引擎不能在链接网页上推送相似内容网页，不能继续跟踪用户浏览网页的内容变化而自动搜索相似内容网页。

4、没有考虑站内搜索相似内容网页的自动推送，不能实现站内相似内容网页无触发自动搜索与推送。

为解决上述问题，本发明在现有技术基础上，采用“最大熵和”、“最小熵差”来计算网页内容差异度，为每个网页建立相似内容索引Sim-Index，利用Sim-Index自动进行相似内容搜索；通过改进现有技术搜索结果链接显示方法，自动跟踪用户浏览网页内容的变化，主动搜索相似内容网页并进行信息推送；通过与站内网页结合，进行站内无触发自动搜索。实现了搜索引擎智能化主动搜索与信息推送，用户更容易找到关注内容网页，提高了搜索引擎的自动化、智能化水平。

发明内容

为解决现有技术存在的问题，本发明目的是提供了一种基于内容相似度计算的自动搜索引擎构建方法。

为实现本发明目的所采用的技术方案是：

一种网页内容相似度计算方法，利用蜘蛛程序爬取网页、分词；

（1）用词频数TF除以所有爬取网页中包含该词的网页数D_t为词权重W^j，W^j＝TF/D_t；

（2）从每个网页P_i的标题和正文中，选出前m个词权重W^j最大的词，作为每个网页P_i的代表词组PW_i，其中1≤i≤n，n为所爬取的网页数，m≥2，1≤j≤m；

（3）计算每个网页P_i的代表词组PW_i与其它网页P_k代表词组PW_k之间的差异度Dif(k,i)为网页内容差异度，其中k≠i，1≤k≤n；

（4）在计算两个网页P_i与P_k内容差异度Dif(k,i)之前，先求两个网页代表词组PW_i与PW_k的交集PW_k∩i＝PW_k∩PW_i，当交集为空时，直接判定两网页内容不相似，结束计算；

（5）如果两个网页代表词组PW_i与PW_k的交集PW_k∩i＝PW_k∩PW_i不为空计算交集PW_k∩i中的词在两个网页代表词组PW_k与PW_i中的词权重W^j之差的绝对值的和为内容差异度其中为交集PW_k∩i中的第j个词在PW_i中的词权重W^j，为交集PW_k∩i中的第j个词在PW_k中的词权重W^j，f为交集PW_k∩i中的元素数量；

（6）当Dif(k,i)＝0且f＝m时，直接判定两网页P_i与P_k的内容没有差异，结束计算；