[发明专利]一种多维文本数据分类方法、训练方法和装置

权利要求书

1.一种多维文本数据分类训练方法，其特征在于，包括：

将多维文本数据分为非结构化数据和结构化数据；

对所述非结构化数据进行合并与分词；

根据分词结果使用TF-IDF生成每个类别的类关键词列表；

对所述类关键词列表进行优化，得到最优化的类关键词列表；

基于所述最优化的类关键词列表对所述非结构化数据进行分类，获输出向量S＝s1,s2,...,sk，其中k为类别数，si的值与所述非结构化数据属于第i种类别的概率相关，i的范围是1至k；

从所述结构化数据提取结构数据特征向量；

将所述向量S与所述结构数据特征向量拼接后作为训练样本，对分类器进行训练；

其中，通过重复执行以下步骤实现对所述类关键词列表进行优化：

基于所述类关键词列表对所述非结构化数据进行分类；

评估分类性能，并根据分类性能的评估结果对所述类关键词列表中的类关键词权重进行优选。

2.如权利要求1所述的多维文本数据分类训练方法，其特征在于，所述根据分词结果使用TF-IDF生成每个类别的类关键词列表，进一步包括：

按照分类的类别将语料进行分组；

使用TF-IDF对所有类别中的词进行统计，找到每个类别中的TF-IDF分值最高的前J个词作为该类别的类关键词列表，J为大于1的整数。

3.如权利要求1所述的多维文本数据分类训练方法，其特征在于，所述基于所述类关键词列表对所述非结构化数据进行分类，进一步包括；

统计输入的所述非结构化数据中各个关键词适配各种类别的命中次数；以命中次数最多的类别作为所述非结构化数据的类别。

4.如权利要求1所述的多维文本数据分类训练方法，其特征在于，所述评估分类性能，并根据分类性能的评估结果对所述类关键词列表中的类关键词权重进行优选，进一步包括：

依次对每个关键词加重或减少权重后评估对分类准确性的影响，直到获得最优化的类关键词列表，所述最优化的类关键词列表包括类关键词及对应最优权重。

5.一种多维文本数据分类方法，其特征在于，包括：

将输入的多维文本数据分为非结构化数据和结构化数据；

对所述非结构化数据进行合并与分词；

基于各类别所对应的最优化关键词列表对所述非结构化数据进行分类并输出向量S＝s1,s2,...,sk，其中k为类别数，si的值与所述非结构化数据属于第i种类别的概率相关，i的范围是1至k；

从所述结构化数据提取结构数据特征向量；

根据所述向量S和所述结构数据特征向量进行分类。

6.如权利要求5所述的多维文本数据分类方法，其特征在于，所述根据所述向量S和所述结构数据特征向量进行分类，进一步包括：

当所述多维文本数据仅有非结构化部分时，取向量S中数值最大的类别作为分类结果。

7.如权利要求5所述的多维文本数据分类方法，其特征在于，所述根据所述向量S和所述结构数据特征向量进行分类，进一步包括：

当数据包括结构化数据和非结构化数据时，将所述向量S与所述结构数据特征向量拼接后输入训练好的分类器，得到分类结果。

8.一种多维文本数据分类训练装置，其特征在于，包括：

存储器，用于存储计算机可执行指令；以及，

处理器，与所述存储器耦合，用于在执行所述计算机可执行指令时实现如权利要求1至4中任意一项所述的方法中的步骤。

9.一种多维文本数据分类装置，其特征在于，包括：

存储器，用于存储计算机可执行指令；以及，

处理器，与所述存储器耦合，用于在执行所述计算机可执行指令时实现如权利要求5至7中任意一项所述的方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如权利要求1至7中任意一项所述的方法中的步骤。