[发明专利]主题分类器的训练方法、装置及计算机可读存储介质

说明书

本发明公开了一种主题分类器的训练方法，该方法包括：获取训练样本和测试样本，其中，所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的；利用预设算法分别提取训练样本和测试样本的特征，并根据所述训练样本的特征，通过迭代算法计算出逻辑回归模型的最优模型参数，训练出含最优模型参数的逻辑回归模型；根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线，并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价，训练出第一主题分类器。本发明还公开了一种主题分类器的训练装置及计算机可读存储介质，可提高主题分类效率和准确率。

技术领域

本发明涉及信息处理领域，尤其涉及一种主题分类器的训练方法、装置及计算机可读存储介质。

背景技术

近年来，随着互联网的飞速发展，信息资源正呈指数级增长。丰富的互联网信息资源给人们的生活带来了极大的便利，人们只需一台连接互联网的电脑，便可获得影音媒体、新闻报道、技术文献等各种类型的信息资源。

然而在这个大数据时代，现有分类技术的分类效率和准确率较低，导致用户面对海量的信息资源时，难以准确快捷地获取自身所需的相关主题信息，因此，如何提高主题分类效率和准确率，是本领域技术人员亟待解决的技术问题。

发明内容

本发明的主要目的在于提供一种主题分类器的训练方法、装置及计算机可读存储介质，旨在提高主题分类效率和准确率，从而使用户有效地从海量信息中获取相关的主题信息。

为实现上述目的，本发明提供一种主题分类器的训练方法，所述主题分类器的训练方法包括以下步骤：

获取训练样本和测试样本，其中，所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的；

利用预设算法分别提取训练样本和测试样本的特征，并根据所述训练样本的特征，通过迭代算法计算出逻辑回归模型的最优模型参数，训练出含最优模型参数的逻辑回归模型；

根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线，并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价，训练出第一主题分类器。

可选地，所述获取训练样本和测试样本，其中，所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的，包括：

采集文本数据，并对所述文本数据进行预处理，获得对应的第一关键词集；

根据所述第一关键词集和预设数量的话题，利用预设主题模型计算得到所述文本数据在所述话题上的分布，并根据所述文本数据在所述话题上的分布情况进行聚类，训练出所述文本数据对应的话题模型；

根据所述话题模型对所述文本数据的人工标注结果，从所述文本数据中筛选出与目标主题分类器对应的训练样本，并将所述文本数据中除所述训练样本之外的文本数据作为测试样本。

可选地，所述利用预设算法分别提取训练样本和测试样本的特征，并根据所述训练样本的特征，通过迭代算法计算出逻辑回归模型的最优模型参数，训练出含最优模型参数的逻辑回归模型，包括：

利用预设算法分别提取训练样本和测试样本的特征，对应建立第一哈希散列表和第二哈希散列表；

将所述第一哈希散列表代入逻辑回归模型，并通过迭代算法计算出逻辑回归模型的最优模型参数，训练出含最优模型参数的逻辑回归模型。

可选地，所述根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线，并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价，训练出第一主题分类器，包括：

将所述第二哈希散列表代入所述含最优模型参数的逻辑回归模型，得到真阳性TP，真阴性TN，伪阴性FN和伪阳性FP；