[发明专利]一种确定文本特征的方法及装置

权利要求书

1.一种确定文本特征的方法，其特征在于，所述方法包括：

确定样本文本对应的分词集合、以及所述分词集合中每个分词的词向量；

基于预设的分词合并规则和所述分词集合包含的分词，确定分词组合，并根据各分词组合包含的分词的词向量，确定所述各分词组合的词向量；

根据确定出的分词组合的词向量，计算所述分词组合之间的相关度、以及各分词组合的区分度；

在所述分词组合中，确定与其他分词组合不满足预设相关度条件、且区分度大于第一预设阈值的目标分词组合；

根据确定出的分词的词向量、所述目标分词组合的词向量，确定所述样本文本对应的特征向量；

其中，所述基于预设的分词合并规则和所述分词集合包含的分词，确定分词组合，包括：

在所述分词中，提取K个分词构成分词组合，其中，所述K为大于等于2的正整数，K的初始值等于2；

计算该分词组合的区分度，并判断已提取出的包含所述K个分词的分词组合的区分度是否满足预设收敛条件；

如果不满足，则继续提取所述K个分词构成分词组合，并返回所述计算该分词组合的区分度的步骤；

如果满足，则将K的当前取值加1，并返回在所述分词中，提取K个分词构成分词组合的步骤；

所述方法还包括：

计算各分词的稳定度，并确定稳定度大于第二预设阈值的分词，作为满足预设筛选条件的分词；

根据满足所述预设筛选条件的分词的数目确定复杂度，所述复杂度表示由所述分词构成的分词组合的最大数目，所述分词组合包含至少两个分词；

如果所述复杂度大于第三预设阈值，则根据预设的阈值增大规则，增大所述第一预设阈值和所述第二预设阈值；

根据增大后的第一预设阈值和第二预设阈值，重新确定满足预设筛选条件的分词；

所述基于预设的分词合并规则和所述分词集合包含的分词，确定分词组合，包括：

基于预设的分词合并规则和满足所述预设筛选条件的分词，确定分词组合。

2.根据权利要求1所述的方法，其特征在于，所述计算各分词的稳定度，包括：

将所述样本文本分为预设数目个样本组；

针对每个分词，计算该分词在每个样本组中的区分度，得到所述预设数目个区分度；

确定大于所述第一预设阈值的目标区分度，并根据所述目标区分度的数目确定该分词的稳定度。

3.根据权利要求1-2任一所述的方法，其特征在于，所述区分度至少包括信息值、信息增益、信息增益率、GINI指数、特征重要性和区分倍数中的一种或多种。

4.根据权利要求3所述的方法，其特征在于，所述区分倍数的计算过程为：

针对每个分词，根据该分词的词向量，确定包含该分词的第一样本文本的第一数目，并确定所述第一样本文本中分类结果为预设类别的第一样本文本的第二数目、所述样本文本的总数、以及所述样本文本中分类结果为所述预设类别的第二样本文本的第三数目；

计算所述第二数目与所述第一数目的第一比值、以及所述第三数目与所述总数的第二比值；

将所述第一比值与所述第二比值的比值作为区分倍数。