[发明专利]基于深度学习的文本分类方法、装置、服务器及存储介质

说明书

本申请实施例提供一种基于深度学习的文本分类方法、装置、服务器及存储介质，通过按照训练语料分句权重对训练语料进行关键分句筛选，得到关键分句筛选后的训练语料构成的训练样本集，从而可以按照语言习惯选择尽可能保留完整语句与原始语序，通过基于分句权重选取关键分句用于后续的文本分类判别训练，可以使得深度学习模型能够学习到正常的语义特征。在此基础上，通过获取训练样本集中不同预设长度分区的分区样本集，并将每个分区样本集分别输入深度学习模型中进行训练，得到不同预设长度分区的文本分类模型，从而采用多长度分区的多模型训练方式，能够对不同文本长度的待分类文本自适应选取深度学习模型进行分类，提高分类精度。

技术领域

本申请涉及深度学习技术领域，具体而言，涉及一种基于深度学习的文本分类方法、装置、服务器及存储介质。

背景技术

随着计算机技术的发展越来越成熟，互联网与用户的生活变得密不可分，网络载体也由一开始的传统计算机发展成现在的各式各样的终端，例如手机、服务器、平板等。在相关技术发展中，各种智能设备也将进入物联网时代，在万物互联的背景下，网络中的文本信息呈现爆炸式增长。大数据时代的到来，意味着数据即金钱，而非结构化的文本信息并没有任何实际作用。基于此，如何对这些文本信息进行分类，一直是当前亟待研究的技术问题。

发明内容

基于现有设计的不足，本申请提供一种基于深度学习的文本分类方法、装置、服务器及存储介质，根据训练语料集合对应的词权重表计算训练语料集合中每一训练语料的分句的分句权重，并按照分句权重对每一训练语料进行关键分句筛选，得到关键分句筛选后的训练语料构成的训练样本集，从而可以按照语言习惯选择尽可能保留完整语句与原始语序，基于分句权重选取关键分句用于分类判别，可以使得深度学习模型能够学习到正常的语义特征，在此基础上获取训练样本集中不同预设长度分区的分区样本集，并将每个分区样本集分别输入深度学习模型中进行训练，得到不同预设长度分区的文本分类模型，从而采用多长度分区的多模型训练方式，能够对不同文本长度的待分类文本自适应选取深度学习模型进行分类。

根据本申请的第一方面，提供一种基于深度学习的文本分类方法，应用于服务器，所述方法包括：

对训练语料集合进行处理，构建所述训练语料集合对应的词权重表；

根据所述词权重表计算所述训练语料集合中每一训练语料的分句的分句权重，并按照所述分句权重对每一训练语料进行关键分句筛选，得到关键分句筛选后的训练语料构成的训练样本集；

获取所述训练样本集中不同预设长度分区的分区样本集，并将每个分区样本集分别输入深度学习模型中进行训练，得到不同预设长度分区的文本分类模型；

基于所述文本分类模型对输入的待分类文本进行文本分类。

在第一方面的一种可能的实施方式中，所述对训练语料集合进行处理，构建所述训练语料集合对应的词权重表步骤，包括：

获取训练语料集合，所述训练语料集合中的每个训练语料包括训练文本以及所述训练文本的类别标签；

对每个所述训练文本进行分词，得到所述训练文本对应的分词结果，所述分词结果由多个分词组成；

采用贝叶斯算法计算每个分词的贝叶斯后验概率，其中，所述贝叶斯后验概率用于表示当一个目标分词出现时，该目标分词对应的训练文本为每个类别标签的概率；

对所述每个分词的贝叶斯后验概率进行统计，获得所述每个分词的类别标签概率分布，并将所述类别标签概率分布的方差作为所述每个分词的词权重，其中，所述类别标签概率分布的方差表示所述类别标签概率分布的离散程度，当离散程度越大时，所述类别标签概率分布对应的类别标签的区分能力越大；

对所述每个分词的词权重进行排序得到所述训练语料集合对应的词权重表。