[发明专利]英文文本的分词方法及装置

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种英文文本的分词方法及装置。

背景技术

伴随着信息时代的到来，全球互联网和通讯事业发生了翻天覆地的变化，导致以电子形式存储和处理的数据爆炸性增长，存储成本的降低进一步使海量数据的存储和处理成为可能。这些数据中有很大一部分是长文本数据，如文章、资讯等。

现有的分词方法中用于匹配的词库是二维的，最多只有词性和简单的概率权重。在算法模型上，并未识别长文本所述的领域，不能对得到准确的分词结果。另一方面，现有的分词方法缺少对外文时态、语态及复数等变形进行学习的引擎。

发明内容

本发明实施例的目的是提供一种英文文本的分词方法及装置，能有效解决现有的分词方法缺少对外文时态、语态及复数等变形进行学习的引擎，能有效进行全文的场景识别然后切分词条，有利于后续文本的挖掘处理。

为实现上述目的，本发明实施例提供了一种英文文本的分词方法，包括步骤：

通过大量文章对标准词库中的预料进行若干时态、语态和复数形式的训练；

根据已完成训练的所述标准词库，对所述待分词文本进行时态和复数的还原处理获得标准词条；

接收待分词文本，对所述待分词文本进行特征提取，根据提取的特征识别所述待分词文本所属的领域；

根据所述待分词文本所属的领域对所述标准词条进行分词处理。

与现有技术相比，本发明公开的英文文本的分词方法

作为上述方案的改进，还包括步骤：

通过CRF模型，识别所述待分词文本的场景，根据所述待分词文本的场景对所述待分词文本进行歧义识别。该步骤能有效进行全文的场景识别然后切分词条，有利于后续文本的挖掘处理。

作为上述方案的改进，所述标准词库包括采集通用词库、实体词库和领域预料中的一种或多种内容。

作为上述方案的改进，通过大量文章对标准词库中的预料进行若干时态的训练包括对所述标准词库中的预料进行现在时、过去式、进行时、完成时和将来时的训练。

作为上述方案的改进，通过大量文章对标准词库中的预料进行语态的训练包括对所述标准词库中的预料进行主动语态和被动语态的训练。

本发明实施例还提供了一种英文文本的分词装置，包括：

训练模块，用于通过大量文章对标准词库中的预料进行若干时态、语态和复数形式的训练；

标准词条获取模块，用于根据已完成训练的所述标准词库，对所述待分词文本进行时态和复数的还原处理获得标准词条；

特征提取模块，用于接收待分词文本，对所述待分词文本进行特征提取，根据提取的特征识别所述待分词文本所属的领域；

分词模块，用于根据所述待分词文本所属的领域对所述标准词条进行分词处理。

与现有技术相比，本发明实施例提供的英文文本的分词装置通过训练模块将大量文章对标准词库中的预料进行若干时态、语态和复数形式的训练，然后通过标准词条获取模块根据已完成训练的所述标准词库，对所述待分词文本进行时态和复数的还原处理获得标准词条，再通过特征提取模块接收待分词文本，对所述待分词文本进行特征提取，根据提取的特征识别所述待分词文本所属的领域，接着通过分词模块根据所述待分词文本所属的领域对所述标准词条进行分词处理，可以支撑基于自然语言处理的词条切分，能有效解决现有的分词方法缺少对外文时态、语态及复数等变形进行学习的引擎，能有效进行全文的场景识别然后切分词条，有利于后续文本的挖掘处理。

作为上述方案的改进，所述分词装置还包括歧义识别模块，用于通过CRF模型，识别所述待分词文本的场景，根据所述待分词文本的场景对所述待分词文本进行歧义识别。

作为上述方案的改进，所述标准词库包括采集通用词库、实体词库和领域预料中的一种或多种内容。

作为上述方案的改进，所述训练模块通过大量文章对标准词库中的预料进行若干时态的训练包括对所述标准词库中的预料进行现在时、过去式、进行时、完成时和将来时的训练。

作为上述方案的改进，所述训练模块通过大量文章对标准词库中的预料进行语态的训练包括对所述标准词库中的预料进行主动语态和被动语态的训练。

附图说明

图1是本发明实施例1提供的一种英文文本的分词方法的流程示意图。

图2是本发明实施例2提供的一种英文文本的分词方法的流程示意图。

图3是本发明实施例3提供的一种英文文本的分词装置的结构示意图。

具体实施方式