[发明专利]一种基于随机森林算法的网页排序方法有效
| 申请号: | 201611122793.X | 申请日: | 2016-12-08 |
| 公开(公告)号: | CN108182186B | 公开(公告)日: | 2020-10-02 |
| 发明(设计)人: | 陶波;许飞月;陈乐焱;简宋全 | 申请(专利权)人: | 广东精点数据科技股份有限公司 |
| 主分类号: | G06F16/9532 | 分类号: | G06F16/9532;G06F16/9535;G06F40/284;G06N20/00 |
| 代理公司: | 北京隆源天恒知识产权代理事务所(普通合伙) 11473 | 代理人: | 闫冬 |
| 地址: | 510630 广东省广*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 随机 森林 算法 网页 排序 方法 | ||
1.一种基于随机森林算法的网页排序方法,其特征在于,该方法包括以下步骤:
步骤S1:获取搜索网页对应的关键词和关键备选词;
步骤S2:计算所述搜索网页对应的关键词或者关键备选词词频和权重;
步骤S3:计算搜索网页质量相关指标PR值;
步骤S4:计算搜索网页的枢纽值和权威值;
步骤S5:计算最近浏览网页与所述搜索网页的相关性与最近浏览网页的关键词以及关键备选词的TF-IDF值乘积;
步骤S6:计算输出指标:规定访问时间以上的搜索网页用户网页浏览次数与满足条件的网页停留时间某一函数的乘积是否大于设定的阀值;
步骤S7:建立随机森林模型并记录相应结果;
步骤S8:计算最终的所述搜索网页得分并排序;
所述步骤S8具体包括:把之前记录的各个搜索网页的用户满意度与HITS算法的枢纽值和权威值分别相乘再加权求和并称为网页排序基数,而权重默认为1:1,根据不同的需求分配枢纽值和权威值以不同的权重值以满足不同的排序需求;最后基于不同搜索网页下的网页排序基数从高到低排序作为最后的排序结果。
2.根据权利要求1所述的基于随机森林算法的网页排序方法,其特征在于,所述步骤S1具体包括:对用户搜索词进行基于统计的语义分析并划分关键词,再从词库中调用设定数目个与关键词相似程度的词语作为关键备选词。
3.根据权利要求2所述的基于随机森林算法的网页排序方法,其特征在于,所述步骤S2具体包括:所述关键词或者关键备选词词频的计算公式为:
式中,tfi,j为第j个网页中第i个关键词或者关键备选词出现的频率即词频,分子ni,j为第i个关键词或者关键备选词在第j网页中的出现次数,分母为在第j个网页中所有字词的频数之和;
逆向网页频率:某一特定词语的逆向网页频率,由总网页数目除以包含该词语的网页的数目,再将得到的商取对数得到,计算式如下:
分子|D|为网页总数,分母为包含该词的网页数;
所述关键词或者关键备选词的权重计算公式为:
tfidfi,j=tfi,j×idfi
这样就算出了要输入的每个网页对应的关键词或者关键备选词的权重变量tfidfi,j。
4.根据权利要求3所述的基于随机森林算法的网页排序方法,其特征在于,所述步骤S3具体包括:所述搜索网页质量相关指标PR值计算公式为:
d为阻尼系数;Pi为网页链入以及链出的网页,N为网页数目;C(Pi)代表Pi页面链出的链接数量。
5.根据权利要求4所述的基于随机森林算法的网页排序方法,其特征在于,所述步骤S4具体包括:在初始情况下,设置每个页面的这两个权值都是相同的,都设置为1;假设以A(i)代表网页i的Authority权值,以H(i)代表网页i的Hub权值;那么,网页i在迭代中的Authority权值即为所有指向网页i页面的Hub权值之和;类似地,网页i的Hub权值即为网页i所指向的页面的Authority权值之和;根据上面的规则不断迭代直至结果最终收敛稳定,这样就算出了要输入的每个网页枢纽值和权威值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东精点数据科技股份有限公司,未经广东精点数据科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611122793.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种农用地地球化学信息系统
- 下一篇:数据缓存方法及装置





