[发明专利]句向量模型生成、数据召回方法、装置、电子设备及存储介质

说明书

本公开关于一种句向量模型生成、数据召回方法、装置、电子设备及存储介质，该句向量模型生成方法包括从第一数量个样本问句组中分别获取第二数量个样本问句，得到样本问句集合；将样本问句集合输入待训练句向量模型，得到样本问句集合中样本问句的句向量；基于样本问句集合中样本问句的句向量，构建样本对；对样本对进行过滤，得到目标正样本对和目标负样本对；根据目标正样本对和目标负样本对，确定第一目标损失；基于第一目标损失训练待训练句向量模型，得到句向量模型。利用本公开实施例提升了训练出的词向量模型的鲁棒性和精准性，进而也提升了词向量模型的语义表征精准性，有效保证后续的数据召回率和召回准确性。

技术领域

本公开涉及自然语言处理技术领域，尤其涉及一种句向量模型生成、数据召回方法、装置、电子设备及存储介质。

背景技术

自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。智能客服是自然语言处理技术的一种重要应用，智能客服主要是结合包括一系列(问题，答案)二元组集合的问答知识库，提供一种数据召回服务。

相关技术中，在数据召回过程中，即根据用户的提问，找出跟该提问相关性高的相似问，并返回相似问的答案的过程中，往往结合Embedding(嵌入)技术将问答知识库中的问题变成句向量，再将句向量存储到向量索引中。对于用户的提问，通过相同的Embedding技术将其转变为向量后，通过向量检索工具搜索出语义相似的相似问。但上述相关技术中，结合Embedding技术得到的句向量存在语义表征精准性较差的问题，进而导致后续的数据召回率和召回错误率低等问题。

发明内容

本公开提供一种句向量模型生成、数据召回方法、装置、电子设备及存储介质，以至少解决相关技术中存在语义表征精准性较差的问题，进而导致后续的数据召回率和召回错误率低等问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种句向量模型生成方法，包括：

从第一数量个样本问句组中分别获取第二数量个样本问句，得到样本问句集合，所述第一数量个样本问句组中同一样本问句组中包括具有相同语义的多个样本问句；

将所述样本问句集合输入待训练句向量模型进行句向量提取，得到所述样本问句集合中样本问句的句向量；

基于所述样本问句集合中样本问句的句向量，构建初始正样本对和初始负样本对；

对所述初始正样本对和所述初始负样本对进行过滤，得到目标正样本对和目标负样本对，所述目标正样本对为过滤掉简单样本后的正样本对，所述目标负样本对为过滤掉简单样本和/或噪声后的负样本对；

根据所述目标正样本对和所述目标负样本对，确定第一目标损失；

基于所述第一目标损失训练所述待训练句向量模型，得到句向量模型。

可选的，所述方法还包括：

从所述初始正样本对和初始负样本对中，确定简单样本对；

根据所述简单样本对，确定第二目标损失；

基于所述第二目标损失训练所述待训练句向量模型，得到初始句向量模型；

所述将所述样本问句集合输入待训练句向量模型进行句向量提取，得到所述样本问句集合中样本问句的句向量包括：将所述样本问句集合输入初始句向量模型进行句向量提取，得到所述样本问句集合中样本问句的句向量；

所述基于所述第一目标损失训练所述待训练句向量模型，得到句向量模型包括：基于所述第一目标损失训练所述初始句向量模型，得到所述句向量模型。

可选的，所述对所述初始正样本对和所述初始负样本对进行过滤，得到目标正样本对和目标负样本对包括：