[发明专利]一种神经网络训练方法、语义检索方法及系统

权利要求书

1.一种神经网络训练方法，其特征是，包括步骤：

S1:对句子进行标注；

S2:将标注好的句子输入神经网络模型；

S3:设置损失函数；

S4:根据损失函数的损失值，对神经网络进行训练。

2.如权利要求1所述的神经网络训练方法，其特征是，步骤S1:对句子进行标注为：sentenceA，sentenceB，Score。

3.如权利要求1所述的神经网络训练方法，其特征是，步骤S3:设置损失函数中的损失函数公式为：

其中，m为训练的样本数量，label为人工标注的sentenceA和sentenceB的相似度，EsentenceA和EsentenceB为神经网络模型中抽取出来的句向量，cos为余弦相似度。

4.如权利要求1所述的神经网络训练方法，其特征是，S2:将标注好的句子输入神经网络模型包括步骤：

将字向量、位置编码、字所在的句子信息均设置为128维；

将上述各向量乘以矩阵，得到768维的向量；

输入神经网络，得到句子特征F，句子特征维度为：输入句子个数*最长句子长度*768；

将句子特征F输入至卷积神经网络，对句子的每个字的特征进行加权求和。

5.如权利要求1所述的神经网络训练方法，其特征是，所述神经网络结构为依次串联的6对transformer组和卷积神经网络构成，其中，每对transformer组由二层transformer构成，每组的transformer参数完全共享。

6.一种基于神经网络的语义检索方法，其特征是，包括步骤：

对文本库进行计算得到特征向量E_total，并存储；

将用户查询的信息转换为向量S_f；

计算S_f和E_total的余弦相似度；

将余弦相似度得分最高的前N条句子返回检索结果。

7.一种基于神经网络的语义检索系统，其特征是，包括采集模块、处理模块以及输出模块，其中：

采集模块对文本库进行计算得到特征向量E_total，并存储；

处理模块用以对用户的输入的信息进行处理；

输出模块用以将处理模块的处理结果返回给用户。

8.一种计算机可读存储介质，其特征是，所述存储介质中存储有指令或者程序，所述指令或者程序由处理器加载并执行以实现如权利要求6所述的语义检索方法。

9.一种电子设备，其特征是，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求6所述的语义检索方法。