[发明专利]口语化语句提取的方法及装置

说明书

本发明实施例公开了一种口语化语句提取的方法及装置，所述方法包括：分别统计电影语料库与混合语料库中词语的词频，并对所述电影语料库与混合语料库中的词语根据所述词频进行排序；根据所述词语的词频和排序的信息计算所述词语在所述电影语料库和混合语料库中的差异度，并根据所述差异度确认口语语料库；基于所述口语语料库提取所述混合语料库中的口语化语句。本发明实施例通过分别统计电影语料库与混合语料库中词语的词频与排序的信息确认口语语料库，再使用口语语料库提取混合语料库中的口语化语句，解决了现有技术中用户自定义口语语料库费时费力的问题，有效提高口语化语句提取的效率，完善了整个语料库体系。

技术领域

本发明实施例涉及信息技术领域，尤其涉及一种口语化语句提取的方法及装置。

背景技术

随着科技的进步，计算机存储容量大的特点被运用在了语言的存储上，由此语料库得以发展。

口语语料库也是以电子计算机为载体承载语言知识的基础资源，完整的口语语料库用于语言模型构建、词典编纂以及文本分类等，但是在现有技术中基于口语语料库的资源少之又少，即使有，也是用户逐个词去提取的口语化语句构建的口语语料库。

用户自定义口语语料库的方式费时费力，并且带有个人因素，缺乏权威性，导致成体系的口语语料库的缺失不利于完善整个语料库体系。

发明内容

本发明实施例提供一种口语化语句提取的方法及装置，能够避免用户自定义口语语料库的费时费力方式，以提高口语化语句提取的效率和信度。

第一方面，本发明实施例提供了一种口语化语句提取的方法，包括：

分别统计电影语料库与混合语料库中词语的词频，并对所述电影语料库与混合语料库中的词语根据所述词频进行排序；

根据所述词语的词频和排序的信息计算所述词语在所述电影语料库和混合语料库中的差异度，并根据所述差异度确认口语语料库；

基于所述口语语料库提取所述混合语料库中的口语化语句。

第二方面，本发明实施例还提供了一种口语化语句提取的装置，包括：

词频统计模块，用于分别统计电影语料库与混合语料库中词语的词频，并对所述电影语料库与混合语料库中的词语根据所述词频进行排序；

口语语料库确认模块，用于根据所述词语的词频和排序的信息计算所述词语在所述电影语料库和混合语料库中的差异度，并根据所述差异度确认口语语料库；

口语化语句提取模块，用于基于所述口语语料库提取所述混合语料库中的口语化语句。

本发明实施例提供了一种口语化语句提取的方法及装置，通过分别统计电影语料库与混合语料库中词语的词频与排序的信息确认口语语料库，再使用口语语料库提取混合语料库中的口语化语句，解决了现有技术中用户自定义口语语料库费时费力的问题，有效提高口语化语句提取的效率，完善了整个语料库体系。

附图说明

图1A是本发明实施例一中的一种口语化语句提取的流程图；

图1B是本发明实施例一中的一种口语化语句提取过程的示意图；

图2A是本发明实施例二中的一种口语化语句提取的流程图；

图2B是本发明实施例二中的一种口语化语句提取的流程图；

图3是本发明实施例三中的一种口语化语句提取装置的结构图；

图4是本发明实施例四中的一种口语化语句提取装置的结构图。

具体实施方式