[发明专利]语句意图类别识别方法及装置

权利要求书

1.一种语句意图类别识别方法，其特征在于，包括：

提供问答日志信息，每条问答日志信息包括：问句和意图类别；

根据从所述问句中获取的关键词生成词典；

根据所述词典分别对每个问句进行向量化计算，得到每个问句的向量；

根据每个问句的向量及对应的意图类别进行分类模型的训练，获取意图分类模型；

对当前问句进行向量化计算，得到当前问句的向量，根据所述当前问句的向量和所述意图分类模型确定当前问句对应的意图类别。

2.如权利要求1所述的方法，其特征在于，根据从所述问句中获取的关键词生成词典包括：

对从问句获取的语料进行预处理，得到文本数据；

对所述文本数据进行分词处理，得到多个语料词语；

对所述语料词语进行过滤处理，得到包括多个关键词的词典；

对所述词典进行降维处理。

3.如权利要求2所述的方法，其特征在于，所述降维处理包括：根据所述问答日志统计问句对应的意图类别，计算所述词典中每个关键词的信息熵，将信息熵小于信息熵阈值的关键词从所述词典中删除，其中，所述信息熵表示该关键词在各意图类别中出现的概率。

4.如权利要求1所述的方法，其特征在于，对问句进行向量化计算包括：

对所述问句进行预处理和分词处理；

根据所述词典的大小和相应问句中出现的关键词的TF-IDF值，对该问句生成向量，其中，所述向量的维度是所述词典的大小，每个维度的值为：相应问句中未出现在词典中的词的维度值为0，相应问句中出现在词典中的关键词的维度值为该关键词的TF-IDF值。

5.如权利要求4所述的方法，其特征在于，所述关键词的TF-IDF值通过以下方式获取：

将问答日志中包括的问句总数目除以包含所述关键词的问句的数目，将得到的商取对数得到所述关键词的IDF值；

计算所述关键词在对应问句中出现的频率，确定TF值；

将所述TF值乘以所述IDF值得到所述关键词的TF-IDF值。

6.如权利要求2或4所述的方法，其特征在于，所述预处理包括：将问句的格式统一为文本格式，过滤脏词、敏感词和停用词中的一种或多种，并将过滤后的文本数据按照标点划分为多行。

7.如权利要求2或4所述的方法，其特征在于，所述分词处理采用字典双向最大匹配法、viterbi方法、HMM方法和CRF方法中的一种或多种。

8.如权利要求2所述的方法，其特征在于，所述过滤处理采用以下任一种或两种方式：

根据词性对所述语料词语进行过滤，保留名词、动词以及形容词；

根据频次对所述语料词语进行过滤，保留频次大于频次阈值的语料词语。

9.如权利要求1所述的方法，其特征在于，进行分类模型训练的方法包括：SVM和朴素贝叶斯中的一种或两种。

10.一种语句意图类别识别装置，其特征在于，包括：

提供模块，用于提供问答日志信息，每条问答日志信息包括：问句和意图类别；

生成模块，用于根据从所述问句中获取的关键词生成词典；

计算模块，用于根据所述词典分别对每个问句进行向量化计算，得到每个问句的向量；

训练模块，用于根据每个问句的向量及对应的意图类别进行分类模型的训练，获取意图分类模型；

识别模块，用于对当前问句进行向量化计算，得到当前问句的向量，根据所述当前问句的向量和所述意图分类模型确定当前问句对应的意图类别。

11.如权利要求10所述的装置，其特征在于，所述生成模块具体包括：

预处理子模块，用于对从问句获取的语料进行预处理，得到文本数据；

分词处理子模块，用于对所述文本数据进行分词处理，得到多个语料词语；

过滤处理子模块，用于对所述语料词语进行过滤处理，得到包括多个关键词的词典；

降维子模块，用于对所述词典进行降维处理。

12.如权利要求11所述的装置，其特征在于，所述降维子模块具体用于：根据所述问答日志统计问句对应的意图类别，计算所述词典中每个关键词的信息熵，将信息熵小于信息熵阈值的关键词从所述词典中删除，其中，所述信息熵表示该关键词在各意图类别中出现的概率。