[发明专利]复杂地址分词方法和装置、计算机可读存储介质

说明书

本公开涉及一种复杂地址分词方法和装置、计算机可读存储介质。该方法包括：对训练样本标注数据集进行预训练，得到地址切分模型；进行当前模型应用，确定当前模型的切分精度；判断当前模型的切分精度是否大于预定阈值；在当前模型的切分精度大于预定阈值的情况下，根据标准地址库里的标准地址或专家判断对模型切分结果进行纠正，得到训练样本增量标注数据集；基于训练样本增量标注数据集，采用增量学习方式，学习新增样本数据的规律，进行模型重构，得到新的地址切分模型；将新的地址切分模型作为当前模型，之后执行进行当前模型应用，确定当前模型的切分精度的步骤。本公开可以基于增量学习实现复杂地址的精准切分。

技术领域

本公开涉及地址数据处理领域，特别涉及一种复杂地址分词方法和装置、计算机可读存储介质。

背景技术

地址数据作为基础的应用数据，与人们的日常生活息息相关，在各行各业及各大应用领域中都普遍存在，针对复杂地址数据的正确分词和应用，在很多应用场景中都具有极其重要的意义和社会价值。其中如何实现复杂地址的精准分词，成为了当前各大涉及LBS(Location Based Services，基于位置的服务)领域的公司和科研机构工作的重点。

发明内容

发明人通过研究发现：相关技术的地址分词方法，通常基于元数据库匹配或者基于统计学原理，考虑方式比较单一，不能满足实际复杂场景的应用需要，如何提升地址分词的准确度，仍是一个需要解决的技术问题。

鉴于以上技术问题中的至少一项，本公开提供了一种复杂地址分词方法和装置、计算机可读存储介质，可以基于增量学习实现复杂地址的精准切分。

根据本公开的一个方面，提供一种复杂地址分词方法，包括：

对训练样本标注数据集进行预训练，得到地址切分模型；

进行当前地址切分模型应用，确定当前地址切分模型的切分精度；

判断当前地址切分模型的切分精度是否大于预定阈值；

在当前地址切分模型的切分精度大于预定阈值的情况下，根据标准地址库里的标准地址或专家判断对模型切分结果进行纠正，得到训练样本增量标注数据集；

基于训练样本增量标注数据集，采用增量学习方式，学习新增样本数据的规律，进行模型重构，得到新的地址切分模型；

将新的地址切分模型作为当前地址切分模型，之后执行进行当前地址切分模型应用，确定当前地址切分模型的切分精度的步骤。

在本公开的一些实施例中，所述复杂地址分词方法还包括：

获取待分词的行业地址数据集和相应的标准地址库集合；

根据实际业务需要，随机从待分词的行业地址数据集中选择部分数据，进行人工标注，得到训练样本标注数据集。

在本公开的一些实施例中，所述进行当前地址切分模型应用，确定当前地址切分模型的切分精度包括：

将当前地址切分模型进行工程化封装；

采用当前地址切分模型批量对待分词地址数据集中的地址数据进行切分，输出模型切分结果，其中，模型切分结果为模型切分后的地址要素集合；

根据模型切分结果确定当前地址切分模型的切分精度。

在本公开的一些实施例中，所述根据模型切分结果确定当前地址切分模型的切分精度包括：

将当前地址切分模型切分后的地址要素集合与标准地址库里的标准地址进行批量比对，确定当前地址切分模型的切分精度。

在本公开的一些实施例中，所述复杂地址分词方法还包括：

在当前地址切分模型的切分精度不大于预定阈值的情况下，输出当前地址切分模型。