[发明专利]基于数字指纹的文本相似性的识别方法、存储介质及装置

权利要求书

1.一种基于数字指纹的文本相似性的识别方法，其特征是，包括：

获取两个文本数据信息，分别定义为基准文本数据信息以及比对文本数据信息；

对文本数据信息进行文本预处理并通过哈希函数以形成输入数据向量信息；从预先设置的数据库中，查找与所述文本数据信息相互对应的文本语意信息并通过哈希函数以形成特征数据向量信息；根据输入数据向量信息与特征数据向量信息相互的对应关系以形成矩阵数据信息；

根据所预先训练好的卷积神经网络模型对矩阵数据信息进行处理分析以形成相似数据信息；

根据基准文本数据信息所对应的相似数据信息以及对文本数据信息所对应的相似数据信息通过相似度函数以判断基准文本数据信息以及比对文本数据信息之间的相似度。

2.根据权利要求1所述的基于数字指纹的文本相似性的识别方法，其特征是，对文本数据信息进行预处理的方法如下：

对文本数据信息进行归一化处理以获取第一数据信息；

对第一数据信息通过哈希函数进行散列值计算以获取散列值序列信息；

根据所预设的分隔规则以将散列值序列信息作为输入数据向量信息。

3.根据权利要求1所述的基于数字指纹的文本相似性的识别方法，其特征是：所述哈希函数设置有若干，根据哈希运算公式以形成高维矩阵数据信息，公式如下：

Hash(X^tY)Y_i·Z；Y_i 表示对第i个哈希维进行运算；

其中，输入数据向量信息记为X₁, X₂, X₃, …, X_N；特征数据向量信息记为Z₁, Z₂, Z₃,…, Z_M；根据所预设的若干哈希函数以形成的运算数据向量信息记为Y₁, Y₂, Y₃, …, Y_P。

4.根据权利要求1所述的基于数字指纹的文本相似性的识别方法，其特征是，形成相似数据信息的方法如下：

根据所预先训练好的卷积神经网络模型对高维矩阵数据信息处理以获取所需特征数据信息；

将所获取的所需特征数据信息输入至所预设的激活函数中将线性数据转变为非线性数据以形成修改特征数据信息；

将修改特征数据信息经过池化层的均值池化后输出池化特征数据信息；

将池化特征数据信息经过全连接层进行关联后以形成相似数据信息。

5.根据权利要求4所述的基于数字指纹的文本相似性的识别方法，其特征是：所述所预先训练好的卷积神经网络模型包括八个卷积层；八个所述卷积层分别对应八个所预先训练好的卷积神经网络模型。

6.根据权利要求5所述的基于数字指纹的文本相似性的识别方法，其特征是：训练的卷积神经网络模型的方法如下：

构建RPN卷积神经网络；

对RPN卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

将不同相似度所对应的两个文本数据信息作为输入的训练样本数据，对输入的训练样本数据赋予多个尺度和多个比例的基准框，通过向初始化后的RPN卷积神经网络中输入训练样本数据的基准框来训练RPN，使用反向传播BP算法，调整RPN卷积神经网络参数，使损失函数值最小；

在训练样本数据上运用训练好的RPN卷积神经网络模型，得到训练样本集的相似度粗选框。

7.根据权利要求1所述的基于数字指纹的文本相似性的识别方法，其特征是，通过相似度函数以判断基准文本数据信息以及比对文本数据信息之间的相似度的方法如下：

定义基准文本数据信息所输出的数据为G1(X1)，对文本数据信息所输出的数据为G2(X2)，获取相似度的损失函数公式如下：

L(X1,X2)=||G1(X1)-G2(X2)||

其中，L (X1, X2)即为基准文本数据信息以及比对文本数据信息之间的相似度。