[发明专利]一种口语化句子的提取方法和装置

说明书

技术领域

本发明实施例涉及文本处理领域，尤其涉及一种口语化句子的提取方法和装置。

背景技术

口语化句子是指人们平常交流所使用到的句子，与之相对应的是书面文本句子。书面文本的目的是以理性传播信息为主，在词汇和语法的使用上较为正式，而口语化的句子在词汇使用上大多简单明了，语法更多以简单句型为主。书面文本中所使用的句子和口语中所使用的句子在风格上截然不同。传统的提取口语化句子的方法有人工提取法和基于词汇的识别方法，人工提取法是指以人工查阅语料的方式从文本中提取符合口语化文本特征的句子；基于词汇的方法主要考虑口语化句子文本和书面句子文本在词语使用上的不同。

人工提取方法需要人工查阅语料，其优点是能保证其准确性，在数据比较小的情况下比较适用，但是其缺点是浪费时间和精力，尤其是在当前大数据环境下，这种方式很难实现。基于词汇的方法仅仅考虑了词汇的信息，从词汇使用的差异性上来分辨书面文本句子和口语化句子，但是却忽略了词汇之间的搭配关系。大部分词汇是在正式文本和口语化为本中同时使用的，仅仅考虑词汇信息的差异不能完全区分正式文本与口语化文本。

发明内容

有鉴于此，本发明提出一种口语化句子的提取方法和装置，提高了自动提取口语化句子的准确度。

第一方面，本发明实施例提供了一种口语化句子的提取方法，所述方法包括：获取训练语句；对所述训练语句训练得到统计语言模型；将待检测语句输入所述统计语言模型，如果所述待检测语句没有被包含在所述训练语句中，则对所述统计语言模型进行平滑处理；将所述待检测语句输入平滑处理后的统计语言模型进行匹配得到第一口语化句子。

进一步的，所述方法还包括：如果所述待检测语句被包含在所述训练语句中，则将所述待检测语句输入所述统计语言模型进行匹配得到第二口语化句子。

进一步的，将所述待检测语句输入平滑处理后的统计语言模型进行匹配得到第一口语化句子包括：对所述待检测语句进行归一化处理，计算所述待检测语句与所述平滑处理后的统计语言模型的匹配度；当所述匹配度大于预设阈值时，提取所述待检测语句中第一口语化的句子；所述待检测语句输入所述统计语言模型进行匹配得到第二口语化句子包括：对所述待检测语句进行归一化处理，计算所述待检测语句与所述统计语言模型的匹配度；当所述匹配度大于预设阈值时，提取所述待检测语句中第二口语化的句子。

进一步的，对所述训练语句训练得到统计语言模型包括：通过n-gram算法对所述训练语句训练得到统计语言模型，其中，所述n-gram算法为3-gram算法，计算公式为：其中P(S)代表待检测语句S出现的概率，n为3，l为所述待检测语句S中词语的个数，w_i代表第i个词语。

进一步的，对所述统计语言模型进行平滑处理包括：根据Katz算法对所述统计语言模型进行平滑处理，其中，所述Katz平滑算法为：

其中，代表应用所述平滑算法处理后的词语w_i在词串w_i-2w_i-1出现的前提下出现的概率；P(w_i|w_i-1)代表w_i在词w_i-1出现的前提下出现的概率；P(w_i)为词语w_i出现的概率；C(w_i-2w_i-1w_i)代表词串w_i-2w_i-1w_i在所述训练数据中出现的次数；C(w_i-1w_i)代表词串w_i-1w_i在所述训练数据中出现的次数；P(w_i|w_i-2w_i-1)代表词w_i在词串w_i-2w_i-1出现的前提下出现的概率；α是介于0和1之间的比例系数。

进一步的，获取训练语句包括：应用分词算法对所述训练文本进行分词，获取所述训练文本的分词结果；添加标识符将所述训练文本的分词结果划分成若干个训练语句；将待检测语句输入所述统计语言模型包括：应用所述分词算法对所述待检测文本进行分词，获取所述待检测文本的分词结果；添加标识符将所述待检测文本的分词结果划分为若干个待检测语句；

将所述待检测语句输入所述统计语言模型。