[发明专利]全局预处理模型的训练方法、装置、电子设备及存储介质

说明书

本申请实施例提供全局预处理模型的训练方法、装置、电子设备及存储介质，通过获得第一训练数据集，并利用第一训练数据集中的语料训练数据对原始预处理模型进行训练，得到第一局部预处理模型；其中，第一训练数据集中包括来自第一物流地址数据源的语料训练数据；获取第二终端发送的第二局部预处理模型的模型参数；其中，第二局部预处理模型是第二终端利用第二物流地址数据源的语料训练数据对原始预处理模型进行训练得到的模型；最后，利用第二局部预处理模型的模型参数对第一局部预处理模型进行参数聚合加权处理，得到全局预处理模型。本方案中利用了联邦训练的模型训练方式得到准确性较佳、普适性更强的全局与训练模型。

技术领域

本申请涉及计算机技术领域，尤其涉及一种全局预处理模型的训练方法、装置、电子设备及存储介质。

背景技术

随着电商业务的快速发展和网络购物的逐渐流行，物流业务的业务量也急剧提升。在物流业务的物流订单的创建过程中，离不开对于包括收件地址和发件地址在内的物流地址信息的识别。

在识别物流地址信息的过程中，需要利用预处理模型对手写的物流地址或用户输入的物流地址进行地址编码的识别处理，以得到物流地址的地址编码，以便于利用地址编码得到物流订单的物流地址信息。在现有的对预处理模型的训练过程中，预处理模型对地址编码的识别准确率与训练预处理模型所使用的地址数据的覆盖范围和地址精度相关。

但是，由于地址数据属于隐私数据，这类数据无法进行大规模的收集和收录。这也导致现有的对于预处理模型的训练其训练效果不佳，预处理模型的准确性和普适性均较差。

发明内容

本申请实施例提供一种全局预处理模型的训练方法、装置、电子设备及存储介质，以用于对预处理模型进行训练，得到识别普适性和识别准确率均较高的预处理模型。

第一方面，本申请提供了一种全局预处理模型的训练方法，包括：

第一终端获得第一训练数据集，并利用所述第一训练数据集中的语料训练数据对原始预处理模型进行训练，得到第一局部预处理模型；其中，所述第一训练数据集中包括来自第一物流地址数据源的语料训练数据；

获取第二终端发送的第二局部预处理模型的模型参数；其中，所述第二局部预处理模型是所述第二终端利用第二训练数据集对所述原始预处理模型进行训练得到的模型，所述第二训练数据集中包括来自第二物流地址数据源的语料训练数据；

所述第一终端利用所述第二局部预处理模型的模型参数对所述第一局部预处理模型进行参数聚合加权处理，得到全局预处理模型。

可选实施例中，所述第一终端获得第一训练数据集，包括：

所述第一终端获取来自第一物流地址数据源的各物流地址的文本语料数据；

对所述文本语料数据进行数据清洗和特征工程处理，得到所述第一训练数据集中的语料训练数据。

可选实施例中，所述利用所述第一训练数据集中的语料训练数据对原始预处理模型进行训练，得到第一局部预处理模型，包括：

对所述第一训练数据集中的语料训练数据进行向量化处理，得到字符向量；

利用所述字符向量对所述原始预处理模型进行训练直至所述原始预处理模型中的参数收敛，得到所述第一局部预处理模型。

可选实施例中，所述利用所述第二局部预处理模型的模型参数对所述第一局部预处理模型进行参数聚合加权处理，得到全局预处理模型，包括：

对所述第二局部预处理模型的模型参数进行解压缩处理，得到第二局部预处理模型的神经元节点分布以及所述第二局部预处理模型在每个神经元节点上的参数取值；

确定所述第一局部预处理模型的神经元节点分布和所述第二局部预处理模型的神经元节点分布之间的神经元节点之间的映射关系；