[发明专利]一种针对评论文本的聚类方法及装置

权利要求书

1.一种针对评论文本的聚类方法，所述方法包括：

从评论文本中采集评论样本；

对所述评论样本进行分词，获得短文本词语样本；

将所述短文本词语样本加入用于分词的基础词典，获得分词词典；

根据所述分词词典对所述评论文本进行分词，获得目标短文本词语；

调用预设词向量生成模型处理所述目标短文本词语，生成目标词向量，包括：将所述目标短文本词语进行笔画拆分，获得笔画拆分结果；根据预设的笔画与编码之间的对应关系，确定与所述笔画拆分结果对应的编码序列；根据所述编码序列，构建所述目标短文本词语的笔画元素集合，其中，所述笔画元素集合中的每个笔画元素由所述编码序列中的多个编码元素组成；调用所述预设词向量生成模型，对所述笔画元素集合中的每个笔画元素的初始笔画向量以及所述目标短文本词语的初始词向量进行处理，获得所述目标词向量；

调用预设聚类模型对所述目标词向量进行聚类，获得所述目标短文本词语的聚类结果。

2.如权利要求1所述的方法，所述对所述评论样本进行分词，获得短文本词语样本，包括：

采用M个预设词长度对所述评论样本进行切词，获得所述评论样本在每个预设词长度中的词组，M≥1且为正整数；

根据所述评论样本在每个预设词长度中的词组，获得所述评论样本在所有预设词长度中的词组；

计算所述评论样本在所有预设词语长度中的词组的重要度；

按照重要度高低对所述评论样本在所有预设词长度中的词组进行排序；

将排序靠前的N个词组确定为所述短文本词语样本，N≥1且为正整数。

3.如权利要求1所述的方法，所述将所述短文本词语样本加入用于分词的基础词典，获得分词词典，具体包括：

对所述短文本词语样本按照预设规则进行筛选，获得筛选出的所述短文本词语样本；

将所述筛选出的所述短文本词语样本加入所述基础词典，获得所述分词词典。

4.如权利要求1所述的方法，所述根据所述分词词典对所述评论文本进行分词，获得目标短文本词语，包括：

通过所述分词词典和分词器对所述评论文本进行分词，获得所述目标短文本词语。

5.如权利要求1所述的方法，所述通过所述分词词典对所述评论文本进行分词，获得目标短文本词语之后，所述方法还包括：

检测所述目标短文本词语是否为非中文词语；

若是，将所述非中文词语翻译成中文词语。

6.如权利要求1所述的方法，所述调用预设聚类模型对所述目标词向量进行聚类，获得所述目标短文本词语的聚类结果，包括：

根据所述目标词向量确定出所述目标短文本词语对应的相似度集；

调用所述预设聚类模型对所述目标短文本词语对应的相似度集进行处理，获得所述目标短文本词语的聚类结果。

7.一种针对评论文本的聚类装置，所述装置包括：

采集模块，用于从评论文本中采集评论样本；

第一分词模块，用于对所述评论样本进行分词，获得短文本词语样本；

合并模块，用于将所述短文本词语样本加入用于分词的基础词典，获得分词词典；

第二分词模块，用于根据所述分词词典对所述评论文本进行分词，获得目标短文本词语；

词向量模块，用于调用预设词向量生成模型处理所述目标短文本词语，生成目标词向量；其中，所述词向量模块，包括：笔画拆分模块，用于将所述目标短文本词语进行笔画拆分，获得笔画拆分结果；第二确定模块，用于根据预设的笔画与编码之间的对应关系，确定与所述笔画拆分结果对应的编码序列；构建模块，用于根据所述编码序列，构建所述目标短文本词语的笔画元素集合，其中，所述笔画元素集合中的每个笔画元素由所述编码序列中的多个编码元素组成；处理模块，用于调用所述预设词向量生成模型，对所述笔画元素集合中的每个笔画元素的初始笔画向量以及所述目标短文本词语的初始词向量进行处理，获得所述目标词向量；

聚类模块，用于调用预设聚类模型对所述目标词向量进行聚类，获得所述目标短文本词语的聚类结果。