[发明专利]一种基于短文本相似度的税务商品编码分类方法及系统

摘要

本发明公开了一种基于短文本相似度的税务商品编码分类方法及系统，所述方法包括：获取样本数据；对样本数据进行分词；获得扩展词；计算KL差异熵，以获得待分类税务商品编码与已有类别之间的差异度，根据所述差异度完成所述分类。本发明对商品文本信息进行具体分类，分为本体词和扩展词，本体词通过应用先进的分词技术对商品的短文本进行中文分词获得，扩展词集合包括索引词和缩略词，扩展词利用外部搜索引擎获得。本发明扩充了待分类词语集合后，利用KL差别熵计算模型来计算待分类词语已有类别之间的差异度，改进了该计算模型，同时引入了平滑参数，在计算其条件词频与反词频、条件概率等值时，防止分母出现0的情况，此外也提高了相似度计算的效率。

主权项

1.一种基于短文本相似度的税务商品编码分类方法，其特征在于，包括：步骤一：获取样本数据；步骤二：对样本数据进行分词；步骤三：获得扩展词；步骤四：计算KL差异熵，以获得待分类税务商品编码与已有商品编码类别之间的差异度，根据所述差异度完成所述分类；所述步骤四中的计算KL差异熵的具体过程如下：(1)使用KL散度来描述待分类商品名称θq和已有商品类别θc之间的关系，如公式1所示：其中V是用到的字典，H是信息熵；W:商品名称经过分词后的词；CE是经过扩展的类别候选集；θq:商品名称；θc：商品类别；P(w|θq)：某个词在商品名称中的概率；P(w|θc)：该词在所有类别数据集中出现的概率；(2)使用步骤二中分词后获得的本体词来计算P(w|θq)，计算过程如公式2所示：其中，QS是商品名称经过分词后的短文本词语集合，tfw,QS是词语w在QS中的词频；(3)对公式2进行改进，如公式3所示：其中QE是扩展后的词集合，包括本体词的扩展词和缩略词，μQ是平滑系数；所述步骤四中的计算KL差异熵的具体过程进一步包括如下步骤：(4)根据以下公式4计算P(w|θc)其中，CE是经过扩展的类别候选集，μc是平滑系数。