[发明专利]一种基于强化学习的网络爬虫自主行为控制方法

权利要求书

1.一种基于强化学习的网络爬虫自主行为控制方法，其特征在于，所述方法包括：

获取训练数据集，并对训练集中的超链接以及超链接上下文进行规范化，形成训练数据集中超链接的状态空间和动作空间；

对状态空间中不同主题间的超链接进行统计，并计算每个主题的超链接累积收益；

利用LDA主题模型计算得到当前需要爬取的网页中每个超链接上下文的主题分布；

根据网页中超链接上下文的主题分布，选取概率最大的主题作为超链接上下文的主题，得到网络爬虫的初始主题和目的主题，选取累积收益最大的超链接进行网络爬虫爬取。

2.如权利要求1所述的一种基于强化学习的网络爬虫自主行为控制方法，其特征在于，所述获取训练数据集，包括：

从网页数据中提取每个网页的超链接以及超链接上下文语句，将所提取的超链接以及超链接上下文语句构成训练数据集T＝{(t_i,h_i)|i＝1,2,…,N}，其中t_i表示第i个超链接的上下文，h_i表示第i个超链接，N为训练数据集的大小。

3.如权利要求2所述的一种基于强化学习的网络爬虫自主行为控制方法，其特征在于，所述对训练集中的超链接以及超链接上下文进行规范化，形成训练数据集中超链接的状态空间和动作空间，包括：

将训练数据集中超链接上下文所对应的主题预设为K＝{k_j,j＝1,2,…,m}，其中k_j为训练数据集中的第j种主题，m表示训练数据集中共有m种主题，mn；

形成训练数据集中超链接的状态空间和动作空间，所述状态空间即S＝K，动作空间即A＝{a_j,j＝1,2,…,m}，其中a_j表示采用网络爬虫动作a_j从一个主题沿着超链接到达另一个主题。

4.如权利要求3所述的一种基于强化学习的网络爬虫自主行为控制方法，其特征在于，所述对状态空间中不同主题间的超链接进行统计，包括：

状态空间中的每个主题s_i∈S，统计从该主题到达目标主题s_j的所有超链接对于每条超链接其中表示从s_i采取网络爬虫动作a₀，到达主题即为s_i+1，最终超链接的结尾即为目标主题s_j。

5.如权利要求4所述的一种基于强化学习的网络爬虫自主行为控制方法，其特征在于，所述计算不同超链接的价值，包括：

对于路径的超链接累积收益Q(g)为：

其中：

S表示主题的状态空间；

表示超链接的第v段；

a_v表示第v段所采用的网络爬虫动作，到达超链接的第v+1段；

γ表示折扣因子，1γ2；

E表示期望操作；

表示超链接的累积收益；

表示在超链接第v段，采用网络爬虫动作a_v获得的收益；

计算不同主题的超链接价值，得到超链接累积收益表Q＝{Q_ij(g)|i∈S,j∈S,j≠i,g＝1,2,…}，Q_ij(g)表示以主题i为初始主题，以主题j为目的主题，当前立即采用从主题i到主题j的超链接获取到的超链接超链接累积收益。