[发明专利]一种基于最小编辑距离的半结构化文本匹配方法

权利要求书

1.一种基于最小编辑距离的半结构化文本匹配方法，其特征在于，包括以下步骤：

⑴对数据进行预处理，把半结构化文本分成两部分：结构化文本和非结构化文本，并对非结构化文本进行分词处理；

⑵离线训练：根据对数似然率算法(LLR)和左右熵算法(LRE)，抽取训练数据的非结构化文本部分中的多词表达，来确定对数似然率算法和左右熵算法的阈值；

⑶根据LLR算法和LRE算法，并利用离线训练出的LLR算法和LRE算法的阈值，在线地为每一个待测试的半结构化文本中非结构化文本抽取一个多词表达集合；

⑷利用上一步抽取的多词表达集合，再加上这些文本中的原结构化串，就可以得到该文本的基于多词表达集合的文本表达，用多词表达集合和结构化字符串来表征文本；

⑸利用基于基于最小编辑距离的半结构化文本匹配方法，计算输入的半结构化文本和待匹配的半结构化文本的相似度(匹配度)；

⑹以特征集合的相似度来衡量文本的相似度(匹配度)，对计算出的匹配度按从大到小排序，输出排序结果(Top-N)，最靠前表示匹配度最强，最靠后表示匹配度最弱。

2.根据权利要求1所述的一种基于最小编辑距离的半结构化文本匹配方法中，训练对数似然率算法(LLR)的阈值特征在于，利用对数似然率(LLR)公式

LLR(x,y)=2(a*loga*N(a+b)(a+c)+b*logb*N(a+b)(b+d)+c*logc*N(c+d)(a+c)+d*logd*N(c+d)(b+d))]]>

计算相邻单元间的score值，其中a:X与Y同时出现的频次；b:紧邻着X右边的词不是Y的频次；c:紧邻着Y左边的词不是X的频次；d:两个紧邻着的词既不是X，也不是Y的频次，即d＝N-a-b-c(N为语料集中词的总数)；按score值的大小依次构建二叉树，给定一个LLR阈值，如果某节点的score值大于阈值，则以此节点为根的二叉树除叶子节点外的每个节点就是多词表达候选。