[发明专利]一种基于自注意力的BILSTM-CRF产品名称识别方法

说明书

本发明公开了一种基于自注意力的BiLSTM‑CRF产品名称识别方法，其特征在于，包括半自动标注产品标题数据，模型构建及训练，模型使用三个部分。半自动标注产品标题数据部分，建立初步标注‑学习‑预测标签‑人工修正‑学习‑预测标签的迭代过程，模型构建及训练部分，对每个字进行N维稠密向量编码，输进BiLSTM层得到文本序列特征，利用Softmax分类层得到每个字的标签概率；利用CRF层抽取文本局部特征，训练模型；模型使用部分，提取文本特征，利用分类层，得到所有标签概率；利用维特比算法，得到对应的标签，从而识别出产品名称。本发明大大减少人工成本，提高模型的准确率和鲁棒性。

技术领域

本发明涉及电子商务领域，特别是涉及一种基于自注意力的BILSTM-CRF产品名称识别方法。

背景技术

就电商领域而言，商家填写的产品标题中夹杂大量的描述性词汇和冗余信息，如“杀螨剂厂家直销粤秀植保杀螨剂杀螨剂批发采购”其中产品名称应为杀螨剂，冗余信息为厂家直销、粤秀植保、批发采购等，这些修饰词和冗余信息给产品名称识别造成了较大的困难。目前产品名称的识别方法主要是建立产品名称词典,根据关键词匹配找出候选产品名称，根据商家提供的产品属性找出最为合适的产品。这种方法的不足之处在于难以构建一个完备的产品名称词典和对应的产品属性库，且构建过程费时费力，同时不能较好地解决产品名称嵌套的问题，例如“同城直送鲜花快递”，鲜花本身是一种产品名称，但在本例中，产品名称不是鲜花而是鲜花快递。

因此，需要一种能解决上述问题，达到有效的解决产品名称词典不够完备，属性库不全的情况，且避免费事费力的规则构建过程的产品名称识别方法。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种基于自注意力的BILSTM-CRF产品名称识别方法。

2.为解决上述技术问题，本发明提供一种基于自注意力的BILSTM-CRF产品名称识别方法，其特征在于，包括半自动标注产品标题数据，模型构建及训练，模型使用三个部分，具体步骤如下：

步骤S1，半自动标注产品标题数据：

1)、根据现有产品名称词典，对产品标题进行关键词匹配，找出候选产品名称，构成产品名称候选集；

2)、根据对应的产品名称属性库，找出相似度最高的产品名称，作为产品名称的初步标注结果；

3)、根据S2的训练结果重新预测步骤S1-2)的产品标题标注数据，比较初步标注结果和预测结果的差异，人工修正错误标注；

步骤S2，模型构建及训练：

4)、将产品标题作为输入，随机初始化M*N维度的字向量表，M表示训练语料中的字数，N表示每个字被映射的维度，从而将产品标题中的每个字映射为N维稠密向量(DenseVctor)；

5)、将产品标题中的每个字按照时序序列(Sequential sequence)输进循环神经网络,提取产品标题中的文本序列特征；

6)、利用自注意力层(Self-Attention Layer)，对文本序列特征赋予不同的权重，提取出识别产品名称的关键信息；

7)、将经过自注意力层编码后的向量输入进分类层，得到产品标题每个字对应的标签，即判断其是否属于产品名称；

8)、将步骤S2-7)步的分类结果输入进CRF层，根据已有标注结果，训练整个模型，得到所有更新好的参数，包括步骤S2-4)中的字向量表；

9)、进行步骤S1-3)，对初步标注结果进行修正；

10)、增量学习步骤S2-9)修正后的产品名称数据；

11)、重复步骤S2-9)和S2-10)，直至标注没有错误；

S3、模型使用: