[发明专利]基于增量Q－Learning的学习方法及系统

权利要求书

1.一种基于增量Q-Learning的学习方法，其特征在于：所述增量Q-Learning学习方法包括步骤：

A：将种子站点集合S作为起始爬行URL队列H；

B：对初始样本页面集W进行学习；

C：从所述起始爬行URL队列H中取Q函数值最高的结点U；

D：爬行得到所述节点U对应的页面d；

E：将所述页面d加入到已爬行页面集D；

F：从所述页面d中解析出新的URL节点集U^*；

G：将所述URL节点集U^*加入到所述起始爬行URL队列H中；

H：计算所述页面d的相关度R(d)；

I：将所述相关度R(d)沿链接路径进行反馈对其祖先页面重新计算函数Q值；

J：使用所述步骤I中所述函数Q值进行重新训练；

K：对于待选的URL使用重新训练过的分类器进行函数Q值的估算；

L：对所述URL对列中进行基于所述函数Q值的排序。

2.根据权利要求1所述基于增量Q-Learning的学习方法，其特征在于：所述步骤B为使用页面相关度评估器对初始样本页面集W进行学习，具体包括步骤：

B1：用普通爬虫或其它类型的主题爬虫爬行一部分页面，作为函数Q值计算的训练集；

B2：设超链接为u_i，计算它的函数Q值Q(u_i)的方法是：设定Q(u_i)＝1，如果所述超链接u_i直接链接向一个主题相关页面，则设定Q(u_i)＝0。

3.根据权利要求1所述基于增量Q-Learning的学习方法，其特征在于：所述步骤C具体为对候选URL进行IQ-Learning评估，在IQ-Learning算法中，候选URL的函数Q值是基于已爬行页面集合在线计算，它的定义既考虑了立即回报也考虑了长远回报，公式为：Q(u_i)＝R(d_i)+γQ(d_i)，Q(di)=1n·Σk=1,uk∈dinQ(uk);]]>其中，u_i是已爬行的超链接、d_i是爬行所述u_i获得的页面、R(d_i)表示页面d_i的主题相关度、u_k是所述d_i的子URL，并且是一个已爬行的URL、n表示d_i的已爬行子URL的总数、Q(u_k)表示u_k的函数Q值、γ是一个折算因子；这个定义是一个递归的定义，其中R(d_i)表示了爬行u_i而获得的立即回报，而γQ(d_i)表示折算了的累计长远回报，γ决定了长远回报相对于立即回报的重要性。

4.根据权利要求1所述基于增量Q-Learning的学习方法，其特征在于：所述步骤H为通过页面相关度评估器计算所述页面d的相关度R(d)，具体包括步骤：

H1：提取链接上下文信息；

H2：对以获取到的链接进行分类；

H3：根据训练样本集计算出先验概率和后验概率。