[发明专利]一种基于置信度的Active-BiLSTM-CRF中文层级地址分词方法

说明书

本发明公开了一种基于置信度的Active‑BiLSTM‑CRF中文层级地址分词方法，属于中文地址分词技术领域。创新性的基于条件随机场CRF中文分词模型的置信度高效筛出需要标注的关键地址样本，利用BiLSTM记忆地址的上下文信息，通过CRF的转移概率矩阵控制地址标注输出的能力，循环标注并训练模型。本发明通过将主动学习机制引入中文层级地址分词中，利用最小置信度原则选取“最不确定”的样本进行标注供算法学习，有效实现了标注成本与分词精度的均衡。

技术领域

本发明属于中文地址分词技术领域，尤其涉及一种基于置信度的Active-BiLSTM-CRF中文层级地址分词方法。

背景技术

地址编码技术是指将文字描述的中文地址映射成空间地理坐标,由地址标准化、地址分词、地址匹配、地址定位等步骤组成。其中中文地址分词是地址编码的基础工作,极大地影响了地址匹配和地址定位等后续工作的性能。

鉴于传统序列标注中文分词方法需要人工构造特征、不具有广泛的适用性等不足,近年来有学者借用深度学习自动学习任务特征的这一优势,利用深度学习技术对中文分词任务进行研究。2015年百度研究院提出了BiLSTM-CRF模型，该模型利用BiLSTM记忆地址的上下文信息，通过CRF的转移概率矩阵控制地址标注输出的能力，已经成为命名实体识别、词性标注、分词等任务的主流模型。

虽然上述技术已证明能够有效进行中文分词，但该方法依赖于大量标注数据，而通常情况下获取带标注的数据集耗时长,成本昂贵,不易实现。

发明内容

本发明的所要解决的技术问题在于克服现有技术的不足，提出一种基于置信度的Active-BiLSTM-CRF中文层级地址分词方法，该方法基于置信度选取“最不确定”的待标注样本请求人工标注后供算法学习，达到了与使用完全受监督的数据集类似的效果，实现了标注成本与分词精度的平衡。

为了实现上述目的，本发明利用基于置信度的双向长短时记忆和条件随机场主动学习混合模型(Active-BiLSTM-CRF)来构建地址词库，创新性的基于CRF模型的置信度高效筛出需要标注的关键地址样本，利用BiLSTM记忆地址的上下文信息，通过CRF的转移概率矩阵控制地址标注输出的能力，循环标注并训练模型，具体包括以下步骤：

步骤1：提取地址样本序列中字的特征，包括词频、词性和右邻熵；

步骤2：随机抽取数据，进行BIOES格式标注；

步骤3：基于标注数据及其特征，训练CRF地址分词模型；

步骤4：利用步骤3中训练的CRF地址分词模型对未标注数据进行预测，筛选出置信度小于阈值的样本，再次进行BIOES格式标注；

步骤5：重复步骤3与步骤4，直到达到标注工作量的上限；

步骤6：基于步骤5筛选出的标注地址数据集训练BiLSTM-CRF中文层级地址分词模型，用训练好的BiLSTM-CRF中文层级地址分词模型进行地址分词。

其中，BiLSTM-CRF模型是将BiLSTM神经网络模型和条件随机场模型进行结合，将原有BiLSTM模型中的Softmax层替换为条件随机场层；该模型通过BiLSTM神经网络记忆地址上下文的信息，并结合CRF层考虑地址序列前后的标注。

本发明相比于现有技术的有益效果在于：

1、鉴于现有基于深度学习的中文分词方法依赖于大量标注数据，而通常情况下获取带标注的数据集耗时长,成本昂贵,本发明创新性地提出了一种基于置信度的Active-BiLSTM-CRF中文层级地址分词方法。