[发明专利]一种基于深度学习的短文本依存分析方法

权利要求书

1.一种基于深度学习的短文本依存分析方法，其特征在于，包括：

步骤1)从搜索引擎日志中，获取用户查询语句所在的HTML文件，作为训练数据集；

步骤2)根据训练数据集生成查询语句的依存分析树；

步骤3)使用依存树训练基于神经网络模型的词性标注器和句法分析器；

步骤1)中，具体包括：

对于搜索日志中的每个查询q以及在这个搜索结果下用户点击率较高的URL列表，获取其对应的HTML文档；

将其中包含这个查询中每个单词的句子s取出，这样可以得到若干个三元组：(q，s，count)，其中count表示该单词在该句子中出现的次数；

得到的三元组集作为生成依存分析树的训练数据集；

一个短文本有多个对应的用户点击的句子，其中，为短文本q在句子s中生成依存分析树，具体包括：

设T_s表示s的依存关系树的所有子树；

找到最小子树t∈T_s满足每个单词x∈q有且仅有一个匹配x′∈t；

对q中的任意两个单词x和y，用下面的方式从t生成q的依存关系树t_q，s：

如果在t中有一条边x′→y′，则在t_q，s中创建一条相同的边x→y；

如果在t中有一条从x′到y′的路径，则在t_q，s中创建一条x→y的边，并且将其临时标记为dep，

为每个句子生成依存树后，需要为该短文本选择一个唯一的依存树，定义一个打分函数f来评估从q的对应句子s中生成的依存关系树t_q的质量：

其中(x→y)表示树上的一条边，count(x→y)是这条边在整个数据集上出现的次数，dist(x，y)是单词x和y在原本句子的依存分析树上的距离，α是一个用来调整两个计分方法重要程度的参数；

最后对标签进行精炼。

2.根据权利要求1所述的基于深度学习的短文本依存分析方法，其特征在于，部分依存关系边的类型被设置为占位符“dep”，将“dep”推断成一个真实的标签，否则在训练数据集中会导致不一致现象；

对应使用多数表决(majority vote)的方式；

包括：对于任意的统计在训练数据集中针对每个具体标签出现的次数；如果一个特定标签的频率大于阈值，当出现次数多余其他标签的10倍，则将占位符dep更改为该标签。

3.根据权利要求1所述的基于深度学习的短文本依存分析方法，其特征在于，步骤3)训练基于神经网络模型的词性标注器和句法分析器，具体包括：

对句子中的每个单词，以该单词为中心建立固定窗口，抽取特征，包括该单词本身、大小写、前缀、后缀；

对于单词特征，使用预训练的word2vec嵌入方法；对于大小写和前后缀，对嵌入进行随机初始化；

接下来，使用基于ArcStandard的依存分析系统解析句子，使用的特征如下表所示：

表格中，s_i(i＝1，2，...)表示栈顶的第i个元素，b_i(i＝1，2，...)表示缓冲区的第i个元素，lc_k(s_i)和rc_k(s_i)表示s_i的左端的第k个子节点和右端第k个子节点，w表示单词本身，t表示词性标注，l表示依存关系标签。