[发明专利]一种基于最小编辑距离的半结构化文本匹配方法

说明书

技术领域

本发明属于自然语言处理领域，特别涉及一种基于最小编辑距离的半结构化文本匹配方法。

背景技术

网络信息的海量增加使得信息检索成为信息获取的重要途径。基于关键词的信息检索已得到了广泛的研究和应用。但是，基于关键词在很多场合下并不能满足日益增长的各种信息获取需求。比如，个人职位搜索，在网络上有许多职位描述，当输入一个关键词时，是可以返回一些满足条件的职位信息，但是，仅凭几个关键词往往很难准确获得所需信息，更为有效的职位搜索是基于求职简历的直接搜索。即输入一份简历，通过简历信息与职位数据的全文匹配，返回与简历要求相吻合的职位信息。在相反方向，公司人才搜索也是同样的情况，需要输入一个职位要求，去和简历数据进行匹配。除了职位和人才搜索，婚介、房租等等都存在供需双方的信息匹配问题。而不论是哪一方的信息，都不是用简单的几个关键词进行描述，而是采用了一个文本进行描述，在描述文本中，可以包括结构化数据，如简历中的身高、年龄、学历等可以结构化地给出，也包含半结构甚至是非结构化的数据，比如简历中的教育和工作经历，个人兴趣，专长以及自我评价等，都可能以半结构或非结构化的方式出现。而往往在求职时，这些非结构化具有重要的作用。

于是，在这种应用中，问题的关键是文本的匹配。与此相关的文本相似度研究也有很丰富的成果，其中典型的是基于向量空间模型的文本相似度计算。其它如基于VSM的文档聚类、基于VSM的文本分类、基于VSM的信息检索等研究，在这些研究中，文本特征的选择、特征值的计算以及相似度度量是关键因素。

传统的计算文本相似度的方法主要有基于向量空间模型(VSM)夹角余弦距离文本相似度算法、基于词共现的文本相似度计算算法、基于事件的文本相似度计算算法等。但是在上述职位搜索等类型的文本匹配应用中，我们采用的是多词表达作为简历职位文本的特征，多词表达的颗粒度一般都比较大，而特征个数也比较少，存在数据很稀疏的问题，传统的基于向量空间模型的计算文本相似度的方法，不是很适用于职位搜索排序，它的计算结果很大可能为0。同时考虑到从用户的角度出发，用简历文本主动地去计算与职位文本的相似度，简历具有主动性，职位具有被动性，这与计算两平等的一般文本间的相似度的物理意义不同。

发明内容

本发明提供一种基于最小编辑距离的半结构化文本匹配方法，包含以下步骤：

一、对数据进行预处理，分别把训练和测试的半结构化文本分成两部分：结构化文本和非结构化文本，并对非结构化文本进行分词处理。

二、根据训练数据，确定对数似然率算法(LLR)和左右熵算法(LRE)的阈值，具体方法如下：

1)首先利用对数似然率(LLR)公式,在非结构化文本中抽取多词表达候选，