[发明专利]文本主题分类方法、装置、电子设备以及存储介质

说明书

本发明实施例公开了一种文本主题分类方法、装置、电子设备以及存储介质，涉及云计算领域。该方法包括：获取待分类文本，基于训练好的主题关联词识别模型确定所述待分类文本的主题关联词列表；基于预设级别的主题库确定所述主题关联词列表中各主题关联词的预设级别的主题以及所述预设级别的主题在所述待分类文本中的频次；基于所述预设级别的主题在所述待分类文本中的频次以及所述预设级别的主题的预设权重确定所述主题的主题概率值，并基于预设主题概率阈值确定所述待分类文本的目标主题。通过本发明实施例公开的技术方案，实现了提高文本分类的准确性，同时增加文本分类的灵活性和实用性。

技术领域

本发明实施例涉及云计算技术领域，尤其涉及一种文本主题分类方法、装置、电子设备以及存储介质。

背景技术

资讯主题分类是资讯管理的核心模块，例如将创作或者外部接入的资讯信息按股票、资讯、财经等主题进行分类以便于进一步提供查询、全文检索等功能。

资讯主题分类同文本分类相似，通常做法均是首先对大量文本进行预处理形成分类器训练语料，通过训练语料训练神经网络分类器，最后对待分类的文本通过分类器进行标签提取，但此类处理方法在实施过程缺乏一定的兼容性和灵活性。

发明内容

本发明提供一种文本主题分类方法、装置、电子设备以及存储介质，以实现提高文本分类的准确性，同时增加文本分类的灵活性和实用性。

第一方面，本发明实施例提供了一种文本主题分类方法，该方法包括：

获取待分类文本，基于训练好的主题关联词识别模型确定所述待分类文本的主题关联词列表；

基于预设级别的主题库确定所述主题关联词列表中各主题关联词的预设级别的主题以及所述预设级别的主题在所述待分类文本中的频次；

基于所述预设级别的主题在所述待分类文本中的频次以及所述预设级别的主题的预设权重确定所述主题的主题概率值，并基于预设主题概率阈值确定所述待分类文本的目标主题。

可选的，所述主题关联词识别模型的训练方法包括：

获取用于模型训练的历史分类文本，并确定各历史分类文本的主题关联词标签，其中，所述主题关联词标签至少包括：标签起始标识以及标签结束标识；

基于各所述历史分类文本对待训练的主题关联词识别模型进行迭代训练，直到迭代训练的主题关联词识别模型满足预设条件，得到训练完成的主题关联词识别模型。

可选的，在所述获取待分类文本，基于训练好的主题关联词识别模型确定所述待分类文本的主题关联词列表之前，还包括：

建立初始主题库；其中，所述初始主题词库包括主题词库、主题语料库以及主题关联词库；

获取所述初始主题词库中的各主题，并基于所述主题语料库确定所述各主题分别对应的语料文本；

基于所述主题关联词库确定所述语料文本对应的主题关联词；

将所述各主题、所述主题对应的语料文本以及所述语料文本对应的主题关联词对应存储，以形成主题库。

可选的，所述主题库中包括至少一个预设级别的主题子库，所述预设级别对应的各主题、所述主题对应的语料文本以及所述语料文本对应的主题关联词分别存储。

可选的，在所述主题库中，上一级别的主题关联词库中包括当前级别的主题关联词库中的各主题关联词；上一级别的主题语料库中包括当前级别的主题语料库中的各主题语料。

可选的，所述获取待分类文本之后，还包括：

对所述待分类文本进行格式预处理，其中，所述格式预处理包括去除文本中的不可读字符与空格；