[发明专利]一种短文本新词发现方法

摘要

本发明公开了一种短文本新词发现方法。本方法为：1)从当前短文本中提取一字符串s，计算该字符串s的对称条件概率SCP(s)以及该字符串s的左邻熵HL(s)和右邻熵HL(s)；2)取左邻熵HL(s)和右邻熵HL(s)的较小值，记为BE(s)；3)计算该字符串s的成词概率Pr_word(s)，根据Pr_word(s)的值确定词s是否为新词。本发明大大提高了新词发现的准确率。

主权项

1.一种短文本新词发现方法，其步骤为：1)从当前短文本中提取一字符串s，计算该字符串s的对称条件概率SCP(s)以及该字符串s的左邻熵HL(s)和右邻熵HL(s)；2)取左邻熵HL(s)和右邻熵HL(s)的较小值，记为BE(s)；3)根据对称条件概率SCP(s)和BE(s)计算该字符串s的成词概率Pr_word(s)，然后根据Pr_word(s)值确定该字符串s是否为新词；其中，计算该成词概率的公式为：Pr_word(s)＝(1‑μ)Nor(BE(s))+μNor(SCP(s))；Nor(BE(s))为BE(s)归一化值，Nor(SCP(s))为SCP(s)归一化值，τ是所选各短文本的SCP(s)平均值，σ为各SCP(s)的标准差，Min_BE(s)为BE(s)最小值，Max_BE(s)为BE(s)最大值。