[发明专利]文本分析方法及文本分析器

说明书

技术领域

本发明涉及数据挖掘技术，尤其涉及一种文本分析方法及文本分析器。

背景技术

目前，在自然语言处理技术中，对文本进行词法分析是其他中文信息处理的基础，例如，目前广泛应用的搜索引擎、机器翻译、语音合成、自动分类、自动摘要、自动校对等，都需要基于词法分析技术。对语句或文本进行词法分析的目的有两个：分词及词性标注，分词就是将字与字之间紧密相连的文本序列按词进行划分，从而将文本序列转化为词语序列；词性标注在分词的基础上，根据句子的上下文信息，给划分的词语进行词性标记，例如，将词语标记为动词、名词、副词或形容词等。其中，词是最小的能够独立活动的有意义的语言成分，在汉语中，词与词之间不存在分隔符，词本身也缺乏明显的形态标记，因此，中文信息处理就是如何将汉语的字串分割为合理的词语序列，即分词。

现有的文本分析器，基于规则或基于统计的算法，采用一体化的分词及词性标注，可以对输入的文本实现分词、词性标注、实体识别等功能，即对文本进行分词、词性标注、实体识别等功能处理。

现有技术中，在进行一体化的分词及词性标注时，均是在标注语料时，对分词信息及词性标注信息进行联合标注，即对分词语料与词性标注语料，采用同一份标注，也就是说，在每个字上，既标注分词信息又标注词性标注信息，在进行一体化处理后，将处理结果（文本分析结果）输出。

但现有对文本采用一体化的分词及词性标注进行分析时，采用统一的分词策略对文本进行分词及词性标注后，没有考虑实体词和非实体词对于分词的差异，即在实际应用中，对于常用的文本分析器，要求对非实体词采用小粒度分割，而对于实体词，例如，人名、地名、机构名，应该以大粒度进行分词和词性标注，举例来说，对于非实体词人民大众，进行小粒度的分词及词性标注后，得到的结果为：人民n；大众n，其中，n表示名词；而对于实体词，例如，人名、地名、机构名等，需要得到粗粒度的分词及词性标注结果，举例来说，对于实体词人民大会堂，期望得到粗粒度的分词及词性标注结果为：人民大会堂nt，其中，nt表示机构名，而非期望得到小粒度的分词及词性标注结果为：人民n；大会堂n，因为，对于实体词，小粒度的分词及词性标注结果（人民n；大会堂n）显然与实际应用（人民大会堂nt）不相一致。

由上述可见，现有的文本分析方法，采用统一的策略对文本进行分析，没有区分实体词与非实体词，使得实体词的文本分析准确率较低。

发明内容

本发明的实施例提供一种文本分析方法，提高实体词的文本分析准确率。

本发明的实施例还提供一种文本分析器，提高实体词的文本分析准确率。

为达到上述目的，本发明实施例提供的一种文本分析方法，包括：

对获取的文本以字符为单位进行切分处理，对切分得到的字符按照预先设置的字符特征进行特征标注，形成特征字串；

按照预先构建的分词模型，对特征字串进行分词处理，得到包含字序的分词结果；

根据分词结果中的字序进行合并处理，对合并得到的词按照预先设置的字符特征进行特征标注，形成特征词串；

根据预先构建的词性标注模型，对特征词串进行词性标注，得到词性标注结果；

确认词性标注结果中包含实体词词性标注，则按照相邻相同规则，合并词性标注结果中包含实体词词性标注的实体词，得到文本分析结果。

其中，所述分词模型的预先构建包括：

采集语料；

对语料以字符为单位进行切分处理，对切分得到的字符按照预先设置的字符特征进行特征标注，形成特征字串；

通过条件随机场CRF算法，对特征字串采用分类标签方式进行训练，得到分词模型。

其中，所述词性标注模型的预先构建包括：

基于分词模型，进行特征提取，形成词，以词的最后一个字符的字符特征作为词的字符特征，形成特征词串；

将特征词串分类为实体词以及非实体词，根据预先存储的词性库，分别提取实体词以及非实体词的特征值，通过CRF算法训练，对实体词以及非实体词进行词性标注，形成词性标注模型。

其中，所述字符特征包括：汉字、英文字符、数字、时间以及符号；

所述对切分得到的字符按照预先设置的字符特征进行特征标注包括：

对文本中的各字符分别进行字符特征的标注，将各字符及其字符特征相连，形成特征字串；

所述对合并得到的词按照预先设置的字符特征进行特征标注，包括：

以词的最后一个字符的字符特征作为词的字符特征，对文本中的各词分别进行字符特征的标注，将各词及其字符特征相连，形成特征词串。