[发明专利]基于机器学习的电子病历词库训练方法

摘要

本发明公开了基于机器学习的电子病历词库训练方法。属于在电子病历中挖掘医疗用语技术领域，该方法可靠性高，能从电子病历词库中训练出医疗用语通用词库。第一步，统计电子病历语料库中出现单字或双字的频率，并统计与该单字或该双字前后连接字的相关信息f；第二步，对分词词库中的单字和双字使用互信熵，选择大于阈值K1＝10.8的词加入词库，作为初始词库；第三步，有了初始词库，使用正向最大匹配，对电子病历语料库进行切分，对切分出来的字串按频率排序输出并记下字串数量seg_num；第四步，对切分产生的字串按频率排序；第五步，更新词库后，重复第三步和第四步进行迭代。

主权项

1.基于机器学习的电子病历词库训练方法，其特征在于，基于机器学习的电子病历词库训练方法的实现过程如下：第一步，统计电子病历语料库中出现单字或双字的频率，并统计与该单字或该双字前后连接字的相关信息f；具体算法如下：定义1：设稳定的单字w所满足的条件为E_L(w)＞K₁，且E_R(w)＞K₁，其中E_L(w)是单字w的左熵值，E_R(w)是单字w的右熵值，K₁是阀值；P(aw|w)是指单字w在所满足的条件下，该单字w与左边的连接字a的组合概率；P(wb|w)是指单字w在所满足的条件下，该单字w与右边的连接字b的组合概率；当一个单字w的E_L(w)与E_R(w)都大于设定的阀值K₁时，就认为该单字w是稳定的，并将这个稳定的单字w加入到初始的分词词库中；第二步，对分词词库中的单字和双字使用互信熵，选择大于阈值K₁＝10.8的词加入词库，作为初始词库；具体算法如如下：定义2：设稳定的双字w₁w₂所满足的条件为MI(w₁w₂)＞K₂，其由M工(w₁w₂)是用来判断两字符串的紧密程度，称为双字w₁w₂的互信息，p(w₁w₂)是双字w，w₂的邻接同现概率，p(w₁)，p(w₂)是w₁和w₂各自的概率，近似等于它们出现的概率除以电子病历语料库的大小，互信息越大，两个汉字结合的紧密程度越高；互信息越小，结合的紧密程度越低；所以当双字的互信息超过某一阀值K₂，则认为是稳定的双字w₁w₂，并将稳定的双字w₁w₂加入初始词库；第三步，有了初始词库，使用正向最大匹配，对电子病历语料库进行切分，对切分出来的字串按频率排序输出并记下字串数量seg_num；具体算法如下：定义3：高信度字串s＝w₁w₂…w_n所满足的条件为R(s)＞K₄；其中，R(s)＝ct(s)*bk(s)；ct(s)代表字串s在搜索页面中出现的频数，bk(s)代表字串s在搜索页面中是否被百度百科或者维基百科收录，K₄是阀值；因为字串s搜索返回的是显示有十条结果的第一个搜索页面，如果在第一个搜索页面中ct(s)大于20时，则认为字串s在搜索页面中出现的频数大；另外设定当字串s没被百度百科或者维基百科收录时则bk(s)＝1，当字串s被百度百科或者维基百科收录时则bk(s)是大于K₄的一个常数；第四步，对切分产生的字串按频率排序；然后对频率排序前H＝2000的字串进行搜索引擎，若字串是被搜索引擎收录了的词条则将该字串作为词加入词库；或者在搜索页面的文本中出现的次数超过阈值R＝60，也将该字串作为词加入词库；第五步，更新词库后，重复第三步和第四步进行迭代；当搜索引擎收录的词条数量searh_num＝0时，结束迭代；当字串数量seg_num小于设定值Y＝5000时，进行第四步的最后一次迭代，并将频率排序前H数量设定为H＝seg_num，执行完后结束迭代，所形成的词库就是我们需要的医疗用语通用词库。