[发明专利]基于多领的中文域短文本理解方法及系统

权利要求书

1.一种基于多领的中文域短文本理解方法，其特征在于，其包括如下步骤：

S1、建立中文域短文本理解的模型；

S2、获取短文本输入集；

S3、通过中文域短文本理解的模型对短文本集进行分析，从而获得短文本理解结果。

2.如权利要求1所述的基于多领的中文域短文本理解方法，其特征在于，所述步骤S1包括：

建立短文本训练集；对训练集中的每篇短文本分词，然后进行词性过滤、停用词过滤预处理，从而构建出短文本词典，词典包含有训练集中出现的词的信息，所述信息包括词语出现的总次数，所有包含该词的文档名及出现的次数，并对其中某一个类中的词计算其卡方值，按卡方值降序排列，取前预设个数个词作为短文本训练集的特征词；

选出特征之后，对短文本训练集中的每一篇文档进行向量化，文档转换的格式为：类别ID特征序号：特征值；

从一组连续多变量概率分布中取样生成短文本的主题分布；从主题的多项式分布中取样生成短文本中各个特征词的主题；从连续多变量概率分布中取样生成主题的词语分布；从词语的连续多变量概率分布中采样最终生成词语；选择概率最大的词作为扩展特征词，其概率值即为扩展特征值。

3.如权利要求2所述的基于多领的中文域短文本理解方法，其特征在于，所述步骤S1中还包括区分短文本词汇之间的相似度时，通过增强那些最凸显的向量特征，以改善特征向量的权重，具体跳跃模型函数如下：

其中V代表词汇；语境窗口中目标词w与语境c共现；目标词w出现的次数与出现的语境被定义为#(w，c)，其中k表示否定样本词汇的数量，#(w)表示目标词w出现的次数；sim()为两个不同词汇的两个嵌入向量之间的相似度余弦值；A()表示反义词汇；S()表示同义词汇。

4.如权利要求2所述的基于多领的中文域短文本理解方法，其特征在于，所述步骤S1还包括：处理否定词与情感词间的修饰关系，具体包括：

利用依存句法分析处理否定词修饰情感词，修饰关系用于反映在依存句法中表现为依存关系类型是不定修饰以及被支配词为否定词；筛选出依存关系类型为不定修饰且满足支配词与被支配词分别为情感词和否定词的依存关系对，然后直接反转情感极性。

5.一种基于多领的中文域短文本理解系统，其特征在于，其包括如下单元：

模型建立单元，用于建立中文域短文本理解的模型；

短文本输入单元，用于获取短文本输入集；

分析理解单元，用于通过中文域短文本理解的模型对短文本集进行分析，从而获得短文本理解结果。

6.如权利要求5所述的基于多领的中文域短文本理解系统，其特征在于，所述模型建立单元包括：

建立短文本训练集；对训练集中的每篇短文本分词，然后进行词性过滤、停用词过滤预处理，从而构建出短文本词典，词典包含有训练集中出现的词的信息，所述信息包括词语出现的总次数，所有包含该词的文档名及出现的次数，并对其中某一个类中的词计算其卡方值，按卡方值降序排列，取前预设个数个词作为短文本训练集的特征词；

选出特征之后，对短文本训练集中的每一篇文档进行向量化，文档转换的格式为：类别ID特征序号：特征值；

从一组连续多变量概率分布中取样生成短文本的主题分布；从主题的多项式分布中取样生成短文本中各个特征词的主题；从连续多变量概率分布中取样生成主题的词语分布；从词语的连续多变量概率分布中采样最终生成词语；选择概率最大的词作为扩展特征词，其概率值即为扩展特征值。

7.如权利要求6所述的基于多领的中文域短文本理解系统，其特征在于，所述模型建立单元中还包括区分短文本词汇之间的相似度时，通过增强那些最凸显的向量特征，以改善特征向量的权重，具体跳跃模型函数如下：

其中V代表词汇；语境窗口中目标词w与语境c共现；目标词w出现的次数与出现的语境被定义为#(w，c)，其中k表示否定样本词汇的数量，#(w)表示目标词w出现的次数；sim()为两个不同词汇的两个嵌入向量之间的相似度余弦值；A()表示反义词汇；S()表示同义词汇。

8.如权利要求6所述的基于多领的中文域短文本理解系统，其特征在于，所述模型建立单元还包括：处理否定词与情感词间的修饰关系，具体包括：

利用依存句法分析处理否定词修饰情感词，修饰关系用于反映在依存句法中表现为依存关系类型是不定修饰以及被支配词为否定词；筛选出依存关系类型为不定修饰且满足支配词与被支配词分别为情感词和否定词的依存关系对，然后直接反转情感极性。