[发明专利]训练网页分布式表示模型的方法和装置

权利要求书

1.一种训练网页分布式表示模型的方法，包括：

生成多个网页中的每个网页的文档对象模型DOM树结构；

针对每个网页的DOM树结构，提取预定数目的预定长度的节点序列，其中每个节点序列的提取包括：

随机选择广度优先遍历方式和深度优先遍历方式之一；以及

从所述DOM树结构中随机选取一个节点，并且以所述一个节点作为起始节点，以所选择的遍历方式从所述DOM树结构中提取所述节点序列；以及

基于所提取的节点序列训练所述网页分布式表示模型，所述网页分布式表示模型用于生成输入网页的表示向量。

2.根据权利要求1所述的训练网页分布式表示模型的方法，其中，采用随机数方式或Alias算法来随机选择所述广度优先遍历方式和所述深度优先遍历方式之一。

3.根据权利要求1所述的训练网页分布式表示模型的方法，其中，在选取所述一个节点时，选取列表性节点的概率大于选取文本节点的概率。

4.根据权利要求1所述的训练网页分布式表示模型的方法，其中，所述DOM树结构的生成包括去除网页中不包含文字信息的节点。

5.根据权利要求4所述的训练网页分布式表示模型的方法，其中，所述DOM树结构的生成还包括对文本节点进行分词处理。

6.根据权利要求1所述的训练网页分布式表示模型的方法，其中，对于所述多个网页的DOM树结构中包括的所有节点中的每个节点分别计算在当前上下文的情况下出现该节点的出现概率，并且以针对每个节点所计算出的出现概率之和最大为目标来训练所述网页分布式表示模型的参数。

7.根据权利要求1所述的训练网页分布式表示模型的方法，其中，所述网页分布式表示模型是线性分类器。

8.一种训练网页分布式表示模型的装置，包括：

文档对象模型生成单元，被配置成生成多个网页中的每个网页的文档对象模型DOM树结构；

提取节点序列单元，被配置成针对每个网页的DOM树结构，提取预定数目的预定长度的节点序列，其中每个节点序列的提取包括：

随机选择广度优先遍历方式和深度优先遍历方式之一；以及

从所述DOM树结构中随机选取一个节点，并且以所述一个节点作为起始节点，以所选择的遍历方式从所述DOM树结构中提取所述节点序列；以及

训练单元，被配置成基于所提取的节点序列训练所述网页分布式表示模型，所述网页分布式表示模型用于生成输入网页的表示向量。

9.根据权利要求8所述的训练网页分布式表示模型的装置，其中，采用随机数方式或Alias算法来随机选择所述广度优先遍历方式和所述深度优先遍历方式之一。

10.一种生成网页的分布式表示的方法，包括：

生成输入网页的文档对象模型DOM树结构；

随机选择广度优先遍历方式和深度优先遍历方式之一；以及

从所述DOM树结构中随机选取一个节点，并且以所述一个节点作为起始节点，以所选择的遍历方式从所述DOM树结构中提取预定长度的节点序列；以及

基于所提取的节点序列，利用预定网页分布式表示模型来生成所述输入网页的表示向量。