[发明专利]一种支持语义联想的轻量级文本模糊搜索的方法

说明书

本发明公开了一种支持语义联想的轻量级文本模糊搜索的方法，包括。模糊度较高，本发明改进了传统语句检索算法，可以将与目标语句完全一致和相似度高的语句检索出来，并且可灵活调节与目标语句的近似值；运算速度快：摒弃了传统的暴力枚举算法，使用“语义图谱”、“卷积”、“动态规划”等方法，优化了搜索过程，极大的提高了搜索速度；系统轻：减少系统大小，针对轻量级用户和使用场景进行了内部外部优化，对整个计算过程优化，减少内存负担。本发明还提供了一套无需现场运算的联想模式，用户在模糊搜索是可以调用联想模块，但无需占用本地计算能力；系统灵活，易于用户针对不同应用进行灵活调用：整个算法模块进行了接口封装。

技术领域

本发明涉及文本模糊搜索的相关领域，尤其涉及一种支持语义联想的轻量级文本模糊搜索的方法。

背景技术

文本的模糊搜索应用在很多地方，特别现今网络日益发达，网络上产生的文本信息量也呈爆炸式地增长。随之，有害信息和造成不稳定因素的信息也随之日益泛滥，因此在公共的网络平台上，有很多内容都需要经过审查才能通过显示。在网络审查初期，多数都是通过人工审查的方式，这样的效率很低，而且与网络文本产生的速度相比，这种效率就更加显得微不足道了。因此很多学者以及公司更加关注文本的模糊搜索，也就是在大量的文本信息中模糊找出给定的关键词或者是关键语句，即模糊匹配。最初对于文本的匹配主要是使用BF(BruteForce)、RK(Robin-Karp)、KMP(Knuth-Morris-Pratt)、BM(BoyerMoore)等算法进行字符的精准匹配，也就是在文本信息中找到与关键词完全一样的字符串才算匹配成功，这样的方式没有考虑到语义信息，不能完成模糊匹配的任务。对文本进行模糊匹配，即字符串模糊匹配，主要的方法有位向量方法、过滤方法等等，应用位向量方法时，需要大量的空间，对于内存小的微型计算机，比如嵌入式系统，这将会是一个问题。

现有的文本模糊搜索存在以下缺点：

1、当前的文本模糊搜索多数都没有很好的体现出真正的模糊搜索，简单来讲就是模糊的程度比较低，不能很好的支持语义联想，比如搜索关键词的同义词、关联词，因此会将关键词的同义词给过滤掉，而实际的应用中，可能需要保留，这样就造成了误过滤，使得查全率变低。而且对于在比较长的文本中进行关键词或关键语句搜索时，由于会使用到比较暴力的方式对文本进行处理，导致效率比较低，也就是说不够轻量化；

2、当前的文本模糊搜索多数都没有很好的解决字符串模糊匹配的两个主要问题：空间问题和时间问题，在处理文本时会有大量的计算与存储，现有的模糊匹配算法在时间复杂度和空间复杂度上常常无法满足实际的在线需求；

3、当前的文本模糊搜索多数都不能对句子级别特征捕捉的模糊搜索，简单来说就是，对于需要搜索的文本而言，如果在待搜索的文本中没有需要搜索的文本，那么搜索的结果为空。但是可能存在与需要搜索的文本意思相近的文本，实际的应用中如果遇到这种情况，往往不希望搜索的结果为空，而是将意思相近的文本作为返回的结果。

为此，我们提出了一种支持语义联想的轻量级文本模糊搜索的方法。

发明内容

本发明的目的在于提供一种支持语义联想的轻量级文本模糊搜索的方法，以解决上述背景技术中提出的问题。

为了实现上述目的，本发明采用了如下技术方案：

一种支持语义联想的轻量级文本模糊搜索的方法，所述搜索方法包括以下步骤：

S1、技术场景建模，文本模糊搜索问题可转换为在长文本中查询短文本的问题，长文本与短文本均为一连串的字符序列；

S2、语义联想图谱，为保证运算的轻量，提前搭建语义联想图谱并将之存储以供直接调用，而非现场再进行运算；

S3、模糊搜索方案，给定长文本S＝{s1，s2，s3，…sn}，给定搜索请求Q＝{q1，q2，q3，…qm}；