[发明专利]分词评价方法及装置

说明书

技术领域

本发明涉及信息处理领域，特别涉及一种分词评价方法及装置。

背景技术

随着互联网的普遍应用，面向互联网进行搜索逐渐成为了人们获取信息的主要方式。分词技术作为搜索引擎中的一项重要的基础技术，它的好坏将直接影响搜索质量的好坏。为了提高分词的质量，人们设计出了各种各样的分词程序。如何对这些分词程序的分词性能进行评价，一直是一个比较困难的问题。

现有技术采用的是根据分词的准确率和召回率进行分词评价的方式，为了计算分词的准确率和召回率，需要有事先标注的比较大规模的语料库，并在此基础上进行统计计算，最后根据计算结果对分词的好坏进行评价。

在实现本发明的过程中，发明人发现现有技术至少存在以下缺点：

现有的分词评价方式需要有事先标注的语料库才能实现自动评价，而目前已有的比较大规模的语料库均需要人工进行标注。另外，由于现有语料库中的语料和目前互联网中涉及的网络语料具有一定的差异性，从而导致有些分词程序即使根据现有语料库计算出较高的准确率和召回率，但将其应用到面向互联网的搜索引擎中时，分词性能仍然很差。

发明内容

为了实现对分词性能的自动评价，并更加有效地评价面向互联网应用的分词性能，本发明实施例提供了一种分词评价方法及装置。所述技术方案如下：

一方面，提供了一种分词评价方法，所述方法包括：

从互联网中获取每个测试词语的测试语料，构建所述每个测试词语的测试语料集；

以待评价的分词程序对所述每个测试词语及其测试语料集进行分词处理；

将所述每个测试词语的分词结果与其测试语料集中的分词结果进行比对，根据所述每个测试词语的分词结果与其测试语料集中的分词结果的一致性，对所述待评价的分词程序进行评价。

其中，所述从互联网中获取每个测试词语的测试语料，构建所述每个测试词语的测试语料集，具体包括：

将所述每个测试词语作为搜索词放入面向互联网的搜索引擎中进行搜索，得到所述每个测试词语的搜索结果；

在所述每个测试词语的搜索结果中提取有效的测试语料，构建所述每个测试词语的测试语料集。

所述根据所述每个测试词语的分词结果与其测试语料集中的分词结果的一致性，对所述待评价的分词程序进行评价，具体包括：

统计每个测试语料集中的分词结果的个数，并统计所述每个测试语料集中的分词结果与所述每个测试语料集对应的测试词语的分词结果一致的个数；

根据所述统计出的个数，对所述待评价的分词程序进行评价。

或者，所述根据所述每个测试词语的分词结果与其测试语料集中的分词结果的一致性，对所述待评价的分词程序进行评价，具体包括：

在所有测试语料集中，统计测试语料集中的所有分词结果均与所述测试语料集对应的测试词语的分词结果一致的个数；

根据所述统计出的个数，及所有测试词语的个数，对所述待评价的分词程序进行评价。

另一方面，提供了一种分词评价装置，所述装置包括：

构建模块，用于从互联网中获取每个测试词语的测试语料，构建所述每个测试词语的测试语料集；

分词模块，用于以待评价的分词程序对所述每个测试词语及其测试语料集进行分词处理；

比对模块，用于将所述每个测试词语的分词结果与其测试语料集中的分词结果进行比对；

评价模块，用于在将所述每个测试词语的分词结果与其测试语料集中的分词结果进行比对之后，根据所述每个测试词语的分词结果与其测试语料集中的分词结果的一致性，对所述待评价的分词程序进行评价。

其中，所述构建模块，具体包括：

搜索单元，具体用于将所述每个测试词语作为搜索词放入面向互联网的搜索引擎中进行搜索，得到所述每个测试词语的搜索结果；

构建单元，具体用于在所述每个测试词语的搜索结果中提取有效的测试语料，构建所述每个测试词语的测试语料集。

具体地，所述评价模块，具体用于在将所述每个测试词语的分词结果与其测试语料集中的分词结果进行比对之后，统计每个测试语料集中的分词结果的个数，并统计所述每个测试语料集中的分词结果与所述每个测试语料集对应的测试词语的分词结果一致的个数；根据所述统计出的个数，对所述待评价的分词程序进行评价。