[发明专利]面向大规模分类体系的短文本标签方法、系统、装置

权利要求书

1.一种面向大规模分类体系的短文本标签方法，其特征在于，该方法包括以下步骤：

步骤M100，获取待分类的短文本信息集合，作为第一短文本信息集合；

步骤M200，基于正向最大匹配分词和word2vec词向量表示技术对所述短文本信息集合中短文本进行预处理，得到第二短文本信息集合；

步骤M300，基于规则的分类方法、有监督的神经网络分类方法，按照预设的二分类规则，对所述第二短文本信息集合进行分类和短文本过滤，得到第三短文本信息集合；包括：

基于规则的分类方法、有监督的神经网络分类方法分别以所述第二短文本信息集合为输入，对所述第二短文本信息集合中各短文本信息，分别输出各自分类方法下的分类概率，通过取平均方法得到综合的分类概率，以最大概率作为对应短文本信息的分类，并基于此分类对所述第二短文本信息集合进行分类和短文本过滤，得到第三短文本信息集合；

步骤M400，基于规则的分类方法、有监督的神经网络分类方法，按照预设分级分类规则，获取第三短文本信息集合中的各短文本的第一、二级分类标签；

步骤M500，基于半监督学习的标签传播方法，按照预设分级分类规则，获取第三短文本信息集合中的各短文本的第三、四级分类标签。

2.根据权利要求1所述的面向大规模分类体系的短文本标签方法，其特征在于，步骤M200“基于正向最大匹配分词和word2vec词向量表示技术对所述短文本信息集合中短文本进行预处理”，其方法为：

对于所述短文本信息集合中每一个短文本，采用正向最大匹配分词将完整句子进行分割，进行词性标注处理，并过滤掉停用词，然后根据分词后的文本，构建词典和训练语料，继续通过word2vec词向量表示技术获取训练语料中每个词的词向量表示。

3.根据权利要求1所述的面向大规模分类体系的短文本标签方法，其特征在于，所述规则的分类方法为基于规则的双数组Trie树的关键词匹配算法；所述有监督的神经网络分类方法为基于多种神经网络结构的深度学习方法。

4.根据权利要求3所述的面向大规模分类体系的短文本标签方法，其特征在于，所述有监督的神经网络分类方法，其网络结构为卷积神经网络CNN，或循环神经网络RNN，或双向长短时记忆网络BiLSTM。

5.根据权利要求1-4任一项所述的面向大规模分类体系的短文本标签方法，其特征在于，步骤M100“获取待分类的短文本信息集合”，其方法为：基于设定关键词，通过网络抓取技术从互联网上获取待分类的短文本信息集合。

6.一种面向大规模分类体系的短文本标签系统，其特征在于，该系统包括短文本获取单元、预处理单元、垃圾信息过滤单元、第一分类单元、第二分类单元；

所述短文本获取单元，配置为获取待分类的短文本信息集合，作为第一短文本信息集合；

所述预处理单元，配置为基于正向最大匹配分词和word2vec词向量表示技术对所述短文本信息集合中短文本进行预处理，得到第二短文本信息集合；

所述垃圾信息过滤单元，配置为基于规则的分类方法、有监督的神经网络分类方法，按照预设的二分类规则，对所述第二短文本信息集合进行分类和短文本过滤，得到第三短文本信息集合；包括：

基于规则的分类方法、有监督的神经网络分类方法分别以所述第二短文本信息集合为输入，对所述第二短文本信息集合中各短文本信息，分别输出各自分类方法下的分类概率，通过取平均方法得到综合的分类概率，以最大概率作为对应短文本信息的分类，并基于此分类对所述第二短文本信息集合进行分类和短文本过滤，得到第三短文本信息集合；

所述第一分类单元，配置为基于规则的分类方法、有监督的神经网络分类方法，按照预设分级分类规则，获取第三短文本信息集合中的各短文本的第一、二级分类标签；

所述第二分类单元，配置为基于半监督学习的标签传播方法，按照预设分级分类规则，获取第三短文本信息集合中的各短文本的第三、四级分类标签。