[发明专利]命名实体识别模型训练方法、样本标注方法、装置及设备

说明书

本申请提供一种命名实体识别模型训练方法、样本标注方法、装置及设备，属于文字识别技术领域。该方法包括：接收终端设备发送的会话文本；使用命名实体识别模型对会话文本进行命名实体识别处理，得到会话文本的命名实体识别结果，并将命名实体识别结果发送给终端设备；若接收到终端设备发送的调整后识别结果，则将调整后识别结果以及会话文本作为新的样本更新至命名实体识别模型的训练集，得到更新后的训练集；基于更新后的训练集对命名实体识别模型进行训练。本申请可以降低文本识别成本。

技术领域

本申请涉及文字识别技术领域，具体而言，涉及一种命名实体识别模型训练方法、样本标注方法、装置及设备。

背景技术

人们在工作时通常会使用沟通工具进行相互消息交互，例如：聊天工具等。利用这些沟通工具所得到的沟通文字，可以作为自然语言处理领域的语料。在自然语言处理领域，例如信息提取、问答系统、句法分析、机器翻译等领域，可以对上述的沟通文字等非结构化文字进行命名实体识别(Named Entity Recognition，简称NER)，以抽取出多种命名实体。其中，利用命名实体识别模型抽取命名实体，是普遍使用的一种手段。命名实体识别模型需要预先训练得到。

目前，采用的识别方法主要是采用需要识别的类型的语料对现有的命名实体识别模型进行训练标注，进而对该类型的语料对应的文字进行识别。然而，当需要对不同类型的文字进行识别时，又需要重新设置训练语料对该模型进行训练，训练过程需要耗费大量的成本，导致了识别的成本较高。

发明内容

本申请的目的在于提供一种命名实体识别模型训练方法、样本标注方法、装置及设备，可以降低文本识别成本。

本申请的实施例是这样实现的：

本申请实施例的一方面，提供一种命名实体识别模型训练方法，该方法包括：

接收终端设备发送的会话文本；

使用命名实体识别模型对会话文本进行命名实体识别处理，得到会话文本的命名实体识别结果，并将命名实体识别结果发送给终端设备；

若接收到终端设备发送的调整后识别结果，则将调整后识别结果以及会话文本作为新的样本更新至命名实体识别模型的训练集，得到更新后的训练集；

基于更新后的训练集对命名实体识别模型进行训练。

可选地，基于更新后的训练集对命名实体识别模型进行训练，包括：

确定更新后的训练集中各样本的样本权重；

基于各样本的样本权重，对命名实体识别模型进行训练。

可选地，确定更新后的训练集中各样本的样本权重，包括：

根据各样本的时间顺序，确定各样本的样本权重。

可选地，确定更新后的训练集中各样本的样本权重，包括：

根据各样本的样本类别，确定各样本的样本权重。

可选地，基于更新后的训练集对命名实体识别模型进行训练，包括：

根据预设的更新策略判定是否对命名实体识别模型进行重新训练；

若是，则基于更新后的训练集对命名实体识别模型进行训练。

本申请实施例的另一方面，提供一种样本标注方法，该方法包括：

获取会话文本，并将会话文本发送给服务器；

接收服务器发送的会话文本的命名实体识别结果；

使用预设的样式显示命名实体识别结果；

若接收到用户输入的针对命名实体识别结果的调整后识别结果，则将调整后识别结果发送给服务器。