[发明专利]一种语料处理方法和装置及语料分析方法和装置

权利要求书

1.一种语料处理方法，其特征在于，包括：

获取所有或部分语料，作为语料集合；

确定所述语料集合中每一条语料对应的意图；

对语料集合中的每一条语料进行分词，确定每条语料中的词语；

确定所述语料集合中每个词语出现的次数；

确定每个词语在每个意图上出现的次数；

根据所述语料集合中每个词语出现的次数和所述每个词语在每个意图上出现的次数，确定每个词语在每个意图上的权重。

2.如权利要求1所述的方法，其特征在于，利用下述公式确定每个词语在每个意图上的权重F(X_i)：

F(X_i)＝(M_i/P)*(1/Ln(P))，其中，X_i表示词语，i表示词语的序号，i的取值范围是自然数，M表示意图，M_i表示X_i在意图M上出现的次数，P表示X_i在所述语料集合中出现的总次数，Ln是自然对数。

3.如权利要求1或2所述的方法，其特征在于，所述对语料集合中的每一条语料进行分词，确定每条语料中的词语的处理包括以下之一：ansj分词、stanford分词、庖丁解牛。

4.一种语料处理装置，其特征在于，包括：

获取模块，用于获取所有或部分语料，作为语料集合；

意图确定模块，用于确定所述语料集合中每一条语料对应的意图；

分词确定模块，用于对语料集合中的每一条语料进行分词，确定每条语料中的词语；

次数确定模块，用于确定所述语料集合中每个词语出现的次数，以及用于确定每个词语在每个意图上出现的次数；

权重确定模块，用于根据所述语料集合中每个词语出现的次数和所述每个词语在每个意图上出现的次数，确定每个词语在每个意图上的权重。

5.如权利要求4所述的装置，其特征在于，利用下述公式确定每个词语在每个意图上的权重F(X_i)：

F(X_i)＝(M_i/P)*(1/Ln(P))，其中，X_i表示词语，i表示词语的序号，i的取值范围是自然数，M表示意图，M_i表示X_i在意图M上出现的次数，P表示X_i在所述语料集合中出现的总次数，Ln是自然对数。

6.如权利要求4或5所述的装置，其特征在于，所述对语料集合中的每一条语料进行分词，确定每条语料中的词语的处理包括以下之一：ansj分词、stanford分词、庖丁解牛。

7.一种语料分析方法，其特征在于，包括：

获取一条语料；

对所述语料进行分词处理，确定所述语料中的每个词语；

获取每个词语在每个意图上的权重；

根据所述每个词语在每个意图上的权重，确定每个意图的权重值；

将大于或等于预定阈值的权重值对应的意图，确定为所述语料的意图。

8.如权利要求7所述的方法，其特征在于，所述根据所述每个词语在每个意图上的权重，确定每个意图的权重值的处理包括：

对于每一种意图，将每个词语在该意图上权重相加，作为该意图的权重值。

9.一种语料分析装置，其特征在于，包括：

语料获取模块，用于获取一条语料；

分词处理模块，用于对所述语料进行分词处理，确定所述语料中的每个词语；

权重获取模块，用于获取每个词语在每个意图上的权重；

权重值确定模块，用于根据所述每个词语在每个意图上的权重，确定每个意图的权重值；

意图处理模块，用于将大于或等于预定阈值的权重值对应的意图，确定为所述语料的意图。

10.如权利要求9所述的装置，其特征在于，权重值确定模块具体用于对于每一种意图，将每个词语在该意图上权重相加，作为该意图的权重值。