[发明专利]基于数字指纹的文本相似性的识别方法、存储介质及装置

说明书

本发明公开了一种基于数字指纹的文本相似性的识别方法、存储介质及装置；解决了文本相似度检测的准确率较低的问题，其技术方案要点是，获取两个文本数据信息；对文本数据信息进行文本预处理并通过哈希函数以形成输入数据向量信息；从预先设置的数据库中，查找与所述文本数据信息相互对应的文本语意信息并通过哈希函数以形成特征数据向量信息；根据输入数据向量信息与特征数据向量信息相互的对应关系以形成矩阵数据信息；根据所预先训练好的卷积神经网络模型对矩阵数据信息进行处理分析以形成相似数据信息；判断基准文本数据信息以及比对文本数据信息之间的相似度，本发明能够更加准确的判定两个文本的相似度。

技术领域

本发明涉及文本相似度识别的方法，特别涉及基于数字指纹的文本相似性的识别方法、存储介质及装置。

背景技术

随着互联网的飞速发展，信息技术的发展也突飞猛进，各类信息资源的数量以惊人的速度增长，如何通过精确地计算文本间的相似度快速而又准确地检索出信息是当前亟待解决的问题。

文本相似度的计算方法在计算机技术的各个领域获得应用，例如在文本检索领域(Text Retrieval)，文本相似度可以改善搜索引擎的召回率(Recall)和准确度(Precision)；在文本挖掘领域(Text Mining)，文本相似度作为一个测量方法用来发现文本数据库中潜在的知识；在基于网页的图像检索(Image Retrieval)领域，可以利用图像周围的描述性短文本来提高准确率。此外，文本相似度计算方法也可以应用到其他一些研究领域，包括文本概括(Text Summarization)，文本分类(TextCategorization)和机器翻译(Machine Translation)等领域。

其中，专利作为记录人类成果的载体，包含了大量的科技成果和创新技术。科学技术的快速发展使得每年的专利申请量急剧增加。传统的检索方式通过检索词进行匹配返回的结果，一般是以检索词出现的数量作为专利的相关性，并没有考虑到专利本身所包含的语义信息。专利审查的本质是审查专利相似度高的相关专利，这其中，最重要的一点就是计算专利文本相似度。文本相似度，一般计算方法是利用向量空间模型对文本表示，之后直接在向量空间中计算向量相似度作为文本相似度。

文本相似度方法主要可以分为两类：一种是利用向量空间模型将文本转化成向量的形式，再进行计算，一种是利用语义词典法表示不同长短文本之间的联系，通过关键词匹配数量来反映文本间的相似度。现有技术的计算中文专利文本的相似度的方法存在语义信息丢失的问题，且现有技术对中文文本相似度的计算不准确，计算结果的正确率和召回率较低，不能准确反映专利文本的相似度，不能满足实际应用的需要。

发明内容

本发明的第一目的是提供一种基于数字指纹的文本相似性的识别方法，根据数字指纹以及卷积神经网络实现对专利文本相似度的判断，准确率更高。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种基于数字指纹的文本相似性的识别方法，包括：

获取两个文本数据信息，分别定义为基准文本数据信息以及比对文本数据信息；

对文本数据信息进行文本预处理并通过哈希函数以形成输入数据向量信息；从预先设置的数据库中，查找与所述文本数据信息相互对应的文本语意信息并通过哈希函数以形成特征数据向量信息；根据输入数据向量信息与特征数据向量信息相互的对应关系以形成矩阵数据信息；

根据所预先训练好的卷积神经网络模型对矩阵数据信息进行处理分析以形成相似数据信息；

根据基准文本数据信息所对应的相似数据信息以及对文本数据信息所对应的相似数据信息通过相似度函数以判断基准文本数据信息以及比对文本数据信息之间的相似度。