[发明专利]一种基于短文本相似度的税务商品编码分类方法及系统

权利要求书

1.一种基于短文本相似度的税务商品编码分类方法，其特征在于，包括：

步骤一：获取样本数据；

步骤二：对样本数据进行分词；

步骤三：获得扩展词；

步骤四：计算KL差异熵，以获得待分类税务商品编码与已有商品编码类别之间的差异度，根据所述差异度完成所述分类；

所述步骤四中的计算KL差异熵的具体过程如下：

(1)使用KL散度来描述待分类商品名称θ_q和已有商品类别θ_c之间的关系，如公式1所示：

其中V是用到的字典，H是信息熵；

W:商品名称经过分词后的词；

CE是经过扩展的类别候选集；

θ_q:商品名称；

θ_c：商品类别；

P(w|θ_q)：某个词在商品名称中的概率；

P(w|θ_c)：该词在所有类别数据集中出现的概率；

(2)使用步骤二中分词后获得的本体词来计算P(w|θ_q)，计算过程如公式2所示：

其中，QS是商品名称经过分词后的短文本词语集合，tf_w,QS是词语w在QS中的词频；

(3)对公式2进行改进，如公式3所示：

其中QE是扩展后的词集合，包括本体词的扩展词和缩略词，μ_Q是平滑系数；

所述步骤四中的计算KL差异熵的具体过程进一步包括如下步骤：

(4)根据以下公式4计算P(w|θ_c)

其中，CE是经过扩展的类别候选集，μ_c是平滑系数。

2.根据权利要求1所述的一种基于短文本相似度的税务商品编码分类方法，其特征在于，所述步骤三中的所述扩展词包括索引词和缩略词。

3.根据权利要求1或2所述的一种基于短文本相似度的税务商品编码分类方法，其特征在于，采用期望交叉熵最小原则进行μ的迭代，具体步骤如下：

(1)给μ_i赋初始值，假设μ_i＝0.5

(2)计算1-μ_i和μ_i的期望

其中，P_JM(w|C)是经过

平滑处理后的概率；

(3)计算μ_i+1

(4)若|μ_i-μ_i+1|＞ε，则执行返回步骤(2)，反之，则终止迭代；其中，ε＝0.01。

4.根据权利要求1所述的一种基于短文本相似度的税务商品编码分类方法，其特征在于，所述样本数据是待分类的税务商品编码名称。