[发明专利]文本分析方法及文本分析器

权利要求书

1.一种文本分析方法，包括：

对获取的文本以字符为单位进行切分处理，对切分得到的字符按照预先设置的字符特征进行特征标注，形成特征字串；

按照预先构建的分词模型，对特征字串进行分词处理，得到包含字序的分词结果；

根据分词结果中的字序进行合并处理，对合并得到的词按照预先设置的字符特征进行特征标注，形成特征词串；

根据预先构建的词性标注模型，对特征词串进行词性标注，得到词性标注结果；

确认词性标注结果中包含实体词词性标注，则按照相邻相同规则，合并词性标注结果中包含实体词词性标注的实体词，得到文本分析结果。

2.根据权利要求1所述的方法，其中，所述分词模型的预先构建包括：

采集语料；

对语料以字符为单位进行切分处理，对切分得到的字符按照预先设置的字符特征进行特征标注，形成特征字串；

通过条件随机场CRF算法，对特征字串采用分类标签方式进行训练，得到分词模型。

3.根据权利要求2所述的方法，其中，所述词性标注模型的预先构建包括：

基于分词模型，进行特征提取，形成词，以词的最后一个字符的字符特征作为词的字符特征，形成特征词串；

将特征词串分类为实体词以及非实体词，根据预先存储的词性库，分别提取实体词以及非实体词的特征值，通过CRF算法训练，对实体词以及非实体词进行词性标注，形成词性标注模型。

4.根据权利要求3所述的方法，其中，所述字符特征包括：汉字、英文字符、数字、时间以及符号；

所述对切分得到的字符按照预先设置的字符特征进行特征标注包括：

对文本中的各字符分别进行字符特征的标注，将各字符及其字符特征相连，形成特征字串；

所述对合并得到的词按照预先设置的字符特征进行特征标注，包括：

以词的最后一个字符的字符特征作为词的字符特征，对文本中的各词分别进行字符特征的标注，将各词及其字符特征相连，形成特征词串。

5.根据权利要求3所述的方法，其中，所述对实体词进行词性标注包括：

按照实体词的词性，分别标注实体词中的每个单元词，每个单元词的词性与实体词的词性相同。

6.根据权利要求1所述的方法，其中，所述方法进一步包括：

如果词性标注结果中不包含实体词词性标注，则直接输出词性标注结果作为文本分析结果。

7.一种文本分析器，其特征在于，该文本分析器包括：分词模型模块、词性标注模型模块、特征字串生成模块、分词处理模块、特征词串生成模块、词性标注模块以及实体词合并模块，其中，

分词模型模块，用于预先构建分词模型并存储构建的分词模型；

词性标注模型模块，用于预先构建词性标注模型并存储构建的词性标注模型；

特征字串生成模块，用于对获取的文本以字符为单位进行切分处理，对切分得到的字符按照预先设置的字符特征进行特征标注，形成特征字串，输出至分词处理模块；

分词处理模块，用于根据分词模型模块中预先构建的分词模型，对接收的特征字串进行分词处理，得到包含字序的分词结果，输出至特征词串生成模块；

特征词串生成模块，用于根据接收的分词结果中的字序，进行合并处理，并对合并得到的词按照预先设置的字符特征进行特征标注，形成特征词串；

词性标注模块，用于根据词性标注模型模块中预先构建的词性标注模型，对接收的特征词串进行词性标注，输出词性标注结果至实体词合并模块；

实体词合并模块，用于判断接收的词性标注结果中是否包含实体词词性标注，如果是，按照相邻相同规则，合并词性标注结果中包含实体词词性标注的实体词，得到文本分析结果并输出；如果否，将词性标注结果作为文本分析结果输出。