[发明专利]一种多维文本数据分类方法、训练方法和装置

说明书

本申请涉及多维文本数据分类领域，公开了一种多维文本数据分类方法、训练方法和装置。多维文本数据分类训练包括：将多维文本数据分为非结构化数据和结构化数据；对所述非结构化数据进行合并与分词；根据分词结果使用TF‑IDF生成每个类别的类关键词列表；对所述类关键词列表进行优化，得到最优化的类关键词列表；基于所述最优化的类关键词列表对所述非结构化数据进行分类，获输出向量S＝s1,s2,…,sk，其中k为类别数。从所述结构化数据提取结构数据特征向量；将所述向量S与所述结构数据特征向量拼接后作为训练样本，对分类器进行训练。本申请的多维文本数据分类训练方法适用于小样本数据，并可以基于关键词高效分类。

技术领域

本申请涉及多维文本数据分类领域，特别涉及一种多维文本数据分类方法、训练方法和装置。

背景技术

在许多工业和商业实践中，需要对文本内容进行自动分类。例如，在电网设备故障管理系统中，需要根据多个系统字段来预测故障类型。其中包括非结构化文本字段，和结构化文本字段或数值字段。

多维数据下的文本分类场景，在很多场合都可能发生，如在金融、交通等。如何有效准确的进行文本分类是一个非常有意义的技术问题。

发明内容

本申请的目的在于提供一种多维文本数据分类方法、训练方法和装置，本申请的多维文本数据分类方法、训练方法和装置适用于小样本数据，并可以基于关键词高效分类。

本申请公开了一种多维文本数据分类训练方法，包括：

将多维文本数据分为非结构化数据和结构化数据；

对所述非结构化数据进行合并与分词；

根据分词结果使用TF-IDF生成每个类别的类关键词列表；

对所述类关键词列表进行优化，得到最优化的类关键词列表；

基于所述最优化的类关键词列表对所述非结构化数据进行分类，获输出向量S＝s1,s2,...,sk，其中k为类别数，si的值与所述非结构化数据属于第i种类别的概率相关，i的范围是1至k；

从所述结构化数据提取结构数据特征向量；

将所述向量S与所述结构数据特征向量拼接后作为训练样本，对分类器进行训练；

其中，通过重复执行以下步骤实现对所述类关键词列表进行优化：

基于所述类关键词列表对所述非结构化数据进行分类；

评估分类性能，并根据分类性能的评估结果对所述类关键词列表中的类关键词权重进行优选。

在一个优选例中，所述根据分词结果使用TF-IDF生成每个类别的类关键词列表，进一步包括：

按照分类的类别将语料进行分组；

使用TF-IDF对所有类别中的词进行统计，找到每个类别中的TF-IDF分值最高的前J个词作为该类别的类关键词列表，J为大于1的整数。

在一个优选例中，所述基于所述类关键词列表对所述非结构化数据进行分类，进一步包括；

统计输入的所述非结构化数据中各个关键词适配各种类别的命中次数；以命中次数最多的类别作为所述非结构化数据的类别。

在一个优选例中，所述评估分类性能，并根据分类性能的评估结果对所述类关键词列表中的类关键词权重进行优选，进一步包括：

依次对每个关键词加重或减少权重后评估对分类准确性的影响，直到获得最优化的类关键词列表，所述最优化的类关键词列表包括类关键词及对应最优权重。

本申请还公开了一种多维文本数据分类方法包括：