[发明专利]一种海关商品异常价格检测方法和装置

说明书

本发明公开了一种海关商品异常价格检测方法及装置，其中方法包括：把数据集分割成训练集和验证集；将数据集文本的不同信息分割成不同的词序列；对于每个数据，将分割成的词序列输入语言表示层，得到关于词向量的二维矩阵；将得到的二维矩阵输入文本双向多尺度神经网络中，从中提取相应的特征向量；将得到的特征向量输入用指数函数激活的单层感知机网络中，得到价格预测值；通过平均绝对对数误差损失函数计算网络的预测损失，然后使用随机梯度下降算法更新网络参数；结合得到的预测的价格，计算价格相似度；根据价格相似度，判断价格数据是否异常。本发明检测方法能较好地检测出异常价格，为海关部门异常报关价格数据的检测提供了参考依据。

技术领域

本发明属于价格异常检测分类领域，尤其涉及一种基于文本回归的海关商品异常价格检测方法和模型。

背景技术

报关单审核主要涉及对现有商品价格数据的拟合、以及对未知商品的价格预测。在此背景下，许多学者设计了解决实际应用中的异常数据检测方法：一是，利用统计规律的异常检测方法，二是，基于时间序列的异常检测方法。前者因缺乏历史数据，无法根据数据的历史规律修正得到的统计规律，从而降低了异常数据检测的准确率。后者往往只能预测单一价格的变动规律，是针对单个及少量商品的价格时间序列特征进行建模，规模性不足。故已有方法很难较好地解决大规模数据集的异常检测任务，特别是对于商品种类繁多且价格多变的海关报关单的商品数据。此外，这些方法仅利用了商品的历史价格，并没有挖掘非结构化的商品描述信息中隐含的特征，这也造成了构建的异常检测模型无法得到令人满意的精度。

目前，海关采用报关单的形式获取商品信息。报关单由商家填写，提供包括企业名称、商品品名、商品品牌、规格型号、原产国等文本信息，以及申报时间、原产国(编号)、申报数量、申报价格等其他数字信息，海关审核人员主要根据商品的文本信息推测商家所报价格是否存在异常。因此，将海关报关单中的文本特征及提取方法用于海关异常数据检测任务中是十分有价值的。在现有的相关工作中，基于文本的预测方法多应用于文本分类任务，在更具难度而实际需求更大的数据预测、异常数据检测等回归任务，还没有得到很好地应用。

通过商品文本信息来进行价格预测，往往面临着以下两类困难：(1)同一类商品，由于品牌、规格、产地、功效等描述不同，以及商铺性质(如旗舰、代购、直营、海外购等)和商铺自行推出的折扣活动，往往导致同一商品的价格有很大差异，仅依靠商品文本数据很难正确预测价格，即商品文本数据存在“同质异构”现象；(2)不同类型商品可能有非常相似的商品文本数据，故很难通过商品文本数据预测出各自的真正价格，即存在“异质同构”的描述信息。以海关化妆品类商品的报关单数据为例，以“护肤品”为关键词搜索到的商品价格，可以发现，规格、品牌、原产地等因素的影响使得“护肤品”的申报单价从几十元到上百元不等，直接利用这类商品文本数据进行准确的价格预测是比较困难的。其中含“玻尿酸”的商品种类繁多，如具有不同功能的面部精华、乳液、喷雾、卸妆液等，这些商品在化妆品中分属不同类别，但由于非常相似的商品描述，提高了相应商品价格预测的难度。因此，通过现有的商品文本数据训练价格预测模型、利用价格预测模型进行异常检测，以及评估价格检测模型的性能是提高海关部门对报关商品异常价格检测效率的三个关键环节。

发明内容

本发明所要解决的技术问题是针对上述现有技术存在的不足，而提供一种能够较为准确地将价格异常的商品检测出来的方法和装置。

为解决上述技术问题，本发明采用的技术方案是：

一种海关商品异常价格检测方法，其特征在于，包括如下步骤：

步骤1：把数据集分割成训练集和验证集；

步骤2：对数据集文本信息中的不同信息分割成不同的词序列，其中不同信息包括品牌、型号，品名以及产地；

步骤3：对于每个数据，将步骤2中分割成的词序列输入语言表示层，使离散的词的文字表示编码为词向量，得到关于词向量的二维矩阵；