[发明专利]一种文本的向量化方法以及装置

权利要求书

1.一种文本的向量化方法，其特征在于，所述方法包括：

获取待处理的文本，并确定所述文本的应用类型，得到所述文本的样本；

提取所述样本的所有单字符元素，得到所述样本的单字符集合；

根据所述样本的应用类型提取所述样本的双字符元素，得到所述样本的双字符集合；

将所述单字符集合和所述双字符集合进行合并，得到词表；

根据所述词表构建得到所述文本的文本向量。

2.根据权利要求1所述的文本的向量化方法，其特征在于，所述提取所述样本的所有单字符元素之后，所述方法还包括：

分别统计所述样本中每一单字符元素所对应的出现频度；

分别去除所述样本中出现频度最大的单字符元素和所述样本中出现频度最小的单字符元素，从而得到所述样本的单字符集合。

3.根据权利要求1所述的文本的向量化方法，其特征在于，所述根据所述样本的应用类型提取所述样本的双字符元素，得到所述样本的双字符集合，包括：

在所述应用类型为二元分类的情况下，定义所述样本中双字符数量较少的类别为正样本；

提取所述正样本中所有的双字符元素，得到所述样本的双字符集合。

4.根据权利要求3所述的文本的向量化方法，其特征在于，所述提取所述正样本中所有的双字符元素之后，所述方法还包括：

分别统计每一双字符元素所对应的出现频度；

分别去除所述正样本中出现频度最大的双字符元素和所述正样本中出现频度最小的双字符元素，从而得到所述样本的双字符集合。

5.根据权利要求1所述的文本的向量化方法，其特征在于，所述根据所述样本的应用类型提取所述样本的双字符元素，得到所述样本的双字符集合，还包括：

在所述应用类型为多元分类的情况下，分别提取所述样本中每个类别的所有双字符元素，得到所述样本的双字符集合。

6.根据权利要求5所述的文本的向量化方法，其特征在于，所述分别提取所述样本中每个类别的所有双字符元素之后，所述方法还包括：

分别统计所述样本中每个类别的每一双字符元素所对应的出现频度；

分别去除所述样本每个类别中出现频度最大的双字符元素和出现频度最小的双字符元素，从而得到所述样本的每个类别的双字符集合；

将所述样本的每个类别的双字符集合进行合并，从而得到所述样本的双字符集合。

7.根据权利要求1所述的文本的向量化方法，其特征在于，所述根据所述样本的应用类型提取所述样本的双字符元素，得到所述样本的双字符集合，还包括：

在所述应用类型为文本聚类的情况下，提取所述样本中所有的双字符元素，得到所述样本的双字符集合。

8.根据权利要求7所述的文本的向量化方法，其特征在于，所述提取所述样本中所有的双字符元素之后，所述方法还包括：

分别统计每一双字符元素所对应的出现频度；

分别去除所述样本中出现频度最大的双字符元素和所述样本中出现频度最小的双字符元素，从而得到所述样本的双字符集合。

9.一种文本的向量化装置，其特征在于，所述装置包括：

获取单元，用于获取用户设备中的文本，并确定所述文本的应用类型，得到所述文本的样本；

第一提取单元，用于提取所述样本的所有单字符元素，得到所述样本的单字符集合；

第二提取单元，用于根据所述样本的应用类型提取所述样本的双字符元素，得到所述样本的双字符集合；

合并单元，用于将所述单字符集合和所述双字符集合进行合并，得到词表；

构建单元，用于根据所述词表构建得到所述文本的文本向量。