[发明专利]用于识别文本类型的方法、装置和设备

权利要求书

1.一种用于识别文本类型的方法，其特征在于，所述方法包括：

对预先获取的文本进行预处理得到所述文本的关键词集合；

计算所述关键词集合中的每个关键词在所述文本中的出现概率值；

对于所述关键词集合中的每个关键词，将该关键词和与该关键词对应的出现概率值导入预先建立的文档主题生成模型，确定所述文档主题生成模型中预先设置的各个主题在所述文本的出现概率值，其中，所述文档主题生成模型用于表征词语在文本中的出现概率值、所述词语在所述各个主题中预先得出的出现概率值这两者与所述各个主题在文本中的出现概率值之间的对应关系；

根据所述各个主题在所述文本中的出现概率值，识别所述文本所属的类型；

还包括：所述类型包括正类和负类；以及所述识别所述文本所属的类型，包括：

将所述各个主题在文本中的出现概率值导入预先建立的第一逻辑回归模型，得出所述文本属于所述正类的第一概率值，其中，所述第一逻辑回归模型用于表征所述各个主题在所述文本中的出现概率值与所述文本属于正类的第一概率值之间的对应关系；

根据所述第一概率值识别所述文本是否属于所述正类。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一概率值识别所述文本是否属于所述正类，包括：

响应于所述第一概率值小于预设的第一阈值，将所述各个主题在文本中的出现概率值导入预先建立的第二逻辑回归模型，得出所述文本属于所述正类的第二概率值，其中，所述第二逻辑回归模型用于表征所述各个主题在所述文本中的出现概率值与所述文本属于所述正类的第二概率值之间的对应关系且所述第二逻辑回归模型的回归参数与所述第一逻辑回归模型的回归参数不同，其中，回归参数用于表征各个主题属于所述正类的概率；

响应于所述第二概率值大于预设的第二阈值，确定所述文本属于所述正类。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一概率值识别所述文本是否属于所述正类，还包括：

响应于所述第一概率值大于预设的第一阈值，确定所述文本属于所述正类。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第一概率值识别所述文本是否属于所述正类，还包括：

响应于所述第二概率值小于预设的第二阈值，确定所述文本属于所述负类。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述对预先获取的文本进行预处理得到所述文本的关键词集合，包括：

去除所述文本中的特殊符号；

对去除特殊符号后的文本进行切词得到词的集合；

去除所述词的集合中的停用词得到所述关键词集合。

6.一种用于识别文本类型的装置，其特征在于，所述装置包括：

预处理模块，配置用于对预先获取的文本进行预处理得到所述文本的关键词集合；

计算模块，配置用于计算所述关键词集合中的每个关键词在所述文本中的出现概率值；

确定模块，配置用于对于所述关键词集合中的每个关键词，将该关键词和与该关键词对应的出现概率值导入预先建立的文档主题生成模型，确定所述文档主题生成模型中预先设置的各个主题在所述文本的出现概率值，其中，所述文档主题生成模型用于表征词语在文本中的出现概率值、所述词语在所述各个主题中预先得出的出现概率值这两者与所述各个主题在文本中的出现概率值之间的对应关系；

识别模块，配置用于根据所述各个主题在所述文本中的出现概率值，识别所述文本所属的类型；

还包括：所述类型包括正类和负类；以及所述识别模块，包括：

确定单元，配置用于将所述各个主题在文本中的出现概率值导入预先建立的第一逻辑回归模型，得出所述文本属于所述正类的第一概率值，其中，所述第一逻辑回归模型用于表征所述各个主题在所述文本中的出现概率值与所述文本属于正类的第一概率值之间的对应关系；

识别单元，配置用于根据所述第一概率值识别所述文本是否属于所述正类。