[发明专利]报关单商品信息的处理方法及系统、存储介质及电子设备

说明书

本发明公开了一种报关单商品信息的处理方法及系统、存储介质及电子设备，通过对报关单商品信息表进行自然语言处理、相似度计算以及贝叶斯网络聚类，完成商品品牌与商品型号的归类处理，统一了同一商品类别下商品品牌、商品型号的表述方式，实现更精细维度下商品描述的归类与比对，解决了商品品牌与商品型号之间的多对一关系和商品信息描述不规范、不统一，造成的难以实现机器自动化识别商品归类的问题。

技术领域

本发明涉及数据处理技术领域，具体为一种报关单商品信息的处理方法及系统、存储介质及电子设备。

背景技术

自2017年7月1日起，中国海关开始实施全国通关一体化，构建一个海关大数据平台，在海关大数据平台的建设中，规范的数据处理就显得尤为重要，这是因为数据处理会直接影响到数据建模和分析结果的好坏。其中，商品归类是海关报关单数据处理分析的关键。因为，商品归类错误可能会导致税率低报、价格低报。

传统方法中，海关的商品归类是报关单位填报、海关人工审核的方式，效率非常低下，且需要大量的人工投入。也有人提出通过机器自动化识别归类的方式，将报关单商品信息进行机器自动化归类，但是基于技术的限制，目前只能实现基于不同税号的大分类，而一个税号下通常有几百种不同的商品，为了实现更准确的分类，还是需要人工的配合，效率依然低下。

发明内容

本发明的目的是提供一种报关单商品信息的处理方法及系统，可以实现全自动化商品归类，提高报关单商品信息的处理效率。

为达到上述目的，本发明提供了如下技术方案：

一种报关单商品信息的处理方法，包括：

获取若干份报关单数据表，所述报关单数据表中包括商品品牌和商品型号；

基于自然语言处理技术提取出所述报关单数据表中包含的所有的商品品牌和商品型号；

基于相似度算法确定出各商品品牌之间的相似度、各商品型号之间的相似度；

通过所述各商品品牌之间的相似度、各商品型号之间的相似度，建立商品品牌与商品型号从属关系的贝叶斯网络，完成商品品牌与商品型号的归类。

上述方案中，先通过自然语言处理从报关单数据表中提取出商品品牌和商品型号，然后再计算各个商品品牌之间的相似度，各个商品型号之间的相似度，最后基于相似度进行贝叶斯网络构建，利用贝叶斯网络实现商品品牌和商品型号的自动归类。基于自然语言处理技术和贝叶斯网络聚类技术，整个处理流程都可以实现全自动化计算机执行，避免了人工参与，因此，极大地提高了处理效率，降低了人工成本。

若提取出的商品品牌中同时包括中文品牌、英文品牌、中英文品牌中的任意两种或三种，则确定出同一商品中英文品牌之间的对应关系；

所述通过所述各商品品牌之间的相似度、各商品型号之间的相似度，建立商品品牌与商品型号从属关系的贝叶斯网络的步骤，包括：通过所述各商品品牌之间的相似度、各商品型号之间的相似度以及同一商品中英文品牌之间的对应关系，建立商品品牌与商品型号从属关系的贝叶斯网络。

中文和英文之间一般难以通过相似度算法计算相似度，通过确定出同一商品中英文品牌之间的对应关系，即可确定出中文与英文之间的相似度，例如中文就是英文的翻译，相似度为100%，由此可以实现更多情况的自动归类，增强本方法的适应性和可靠性。

所述通过各商品品牌之间的相似度、各商品型号之间的相似度以及同一商品中英文品牌之间的对应关系，建立商品品牌与商品型号从属关系的贝叶斯网络，完成商品品牌与商品型号的归类的步骤，包括：

将相似度大于第一阈值的商品品牌聚类为同一类，同一类商品品牌下相似度大于第二阈值的商品型号聚类为同一类；

在同一类商品中，选取出现频率最高的商品品牌和商品型号，作为该类商品的正确商品品牌和正确商品型号；