[发明专利]基于网站特征分析的信源评价方法、装置及存储设备、程序

权利要求书

1.一种基于网站特征分析的信源评价方法，其特征在于，包括如下步骤：

(1)通过搜索引擎获取用户输入关键词对应的前n个网站的URL；

(2)对所获得的网页进行深度爬取，获取所对应网页的HTML信息；

(3)根据爬虫程序获取的对应网站中的HTML信息，采用正则表达式提取其中的URL链接，进行其中网站特征信息内容的获取；

(4)根据余弦距离计算用户所输入的关键词与网站特征信息内容的相关程度，包括：

根据全部语料信息进行Word2Vec词向量的计算，生成100维的词向量，然后根据余弦距离以及所选网站特征信息内容加权求和，计算用户所输入的关键词与网站特征信息内容的相关程度；具体为：

1)计算公式为：

f_title＝cos(key_word,title_vec)

f_ID[n]＝w_datef_date+w_contentf_content+...+w_{html_meta}f_{html_meta}-score_cur

其中，len(html_meta)为处理之后meta文本的长度，title_vec为title数据组成句子向量的向量值，score_cur为网页的惩罚项，w₄为权重参数，f_ID[n]为当前深度网页的得分值，最终网页的得分值为各个特征分值之和减去惩罚项的值；

2)根据爬虫程序进行depth＝2的深度搜索时，不同深度的网页应占有不同的权重，得到对应的权重结果，计算公式为：

score_web＝w₁{f_ID[1]}+w₂{f_ID[2]}+w₃{f_ID[w]}

其中，f_Id[1]、f_Id[2]、f_Id[w]分别为depth＝1的网页数据、depth＝2的网页数据、外部链接的网页数据，权重w_n满足约束w₁+w₂+w₃＝100；

(5)用BM25算法计算用户所输入关键词与网站特征信息内容的相关程度；

(6)结合BM25算法与余弦距离计算的相关度，最终根据网站的打分值得到相关网站信源的排序结果。

2.根据权利要求1所述的方法，其特征在于，所述根据爬虫程序获取的对应网站中的HTML信息，采用正则表达式提取其中的URL链接，进行其中网站特征信息内容的获取，包括：

1)通过URLIO工具获取每个URL对应的Date、Content、Title内容；

2)利用正则表达式获取URL链接对应的锚文本、网页Title属性、Meta属性内容。

3.根据权利要求1所述的方法，其特征在于，所述步骤(3)后还包括如下步骤：对获取到的网站特征信息内容进行预处理，并且编号存储，所述预处理方法的步骤为：用TextRank算法提取出其中的多个关键词，所述的TextRank计算公式如下：

其中，d为阻尼系数，w_ji为两词语v_i和v_j之间边的权重，一个单词的权重取决于在i前面的各个点j组成的(j,i)这条边的权重，以及j这个点到其它边的权重之和。

4.根据权利要求1所述的方法，其特征在于，所述步骤(6)中结合BM25算法与余弦距离计算的相关度，最终根据网站的打分值得到相关网站信源的排序结果，具体公式为：

score＝score_BM25+score_web。