[发明专利]一种文本分类方法及装置

权利要求书

1.一种文本分类方法，其特征在于，包括：

对待分类文本进行分句，对每个句子进行依存句法分析，抽取出所有依存对作为抽取的决策单元；

从知识库检索所述抽取的决策单元所属的类别，所述知识库中存储有作为分类依据的决策单元及所属的类别及权值；

按类别累加所述抽取的决策单元权值之和；

将所述权值之和最大的类别作为待分类文本的类别。

2.如权利要求1所述的方法，其特征在于，还包括建立所述知识库，具体包括：

将训练语料以句子为单位进行依存句法分析，得到各句子的依存树；

抽取出每棵依存树的依存对作为候选决策单元，每个依存对包含两个特征词，且具有特定的依存关系；

计算各候选决策单元在各类别中的权值；

将权值高于特定阈值的决策单元存储到知识库作为分类依据，并存储所述权值高于特定阈值的决策单元所属的类别以及权值。

3.如权利要求2所述的方法，其特征在于，按如下公式计算各候选决策单元在各类别中的权值w(du)：

w(du)=argmaxi∈CfiN-fi+1]]>

其中fi表示候选决策单元du在类别i中出现的频率，N表示在候选决策单元在各类别中出现的总频率，C为类别。

4.如权利要求2所述的方法，其特征在于，抽取出每棵依存树的依存对作为候选决策单元后，计算各候选决策单元在各类别中的权值前，还包括：

过滤掉包含预定义停用词的候选决策单元以及过滤掉依存关系不属于预定义依存关系的候选决策单元。

5.如权利要求1所述的方法，其特征在于，抽取出所有依存对作为抽取的决策单元后，从知识库检索所述抽取的决策单元所属的类别前，还包括：

过滤掉包含预定义停用词的决策单元以及过滤掉依存关系不属于预定义依存关系的决策单元。

6.如权利要求1至5中任一项所述的方法，其特征在于，还包括：

若权值之和大于1的类别数多于1个，则进行冲突消解处理。

7.如权利要求6所述的方法，其特征在于，所述冲突消解处理包括：

将各句子中各抽取的决策单元的句法距离赋值为其所在依存树的层号；

根据公式weight＝w/(d+n)进行各抽取的决策单元的权值调整，其中weight为调整后的权值，w为调整前的权值，d为句法距离；n为自然数；

将调整后各抽取的决策单元权值按类别累加，得到相应类别的最终权值。

8.一种文本分类装置，其特征在于，包括：

获取单元，用于对待分类文本进行分句，对每个句子进行依存句法分析并抽取出所有依存对作为抽取的决策单元；

检索单元，用于从知识库检索所述抽取的决策单元所属的类别，所述知识库中存储有作为分类依据的决策单元及所属的类别及权值；

计算单元，按类别累加所述抽取的决策单元权值之和；

类别确定单元，用于将所述权值之和最大的类别作为待分类文本的类别。

9.如权利要求8所述的装置，其特征在于，还包括：

知识库建立单元，用于建立所述存储有作为分类依据的决策单元及所属的类别及权值的知识库。